1、脚本运行环境python3.6 2、脚本忽略LOB字段数据 3、脚本生成以^为分割符的csv格式文件 4、脚本避免转义字符将‘\’替换为‘/’,数据中存在分割符:^转换为# 5、特殊字符处理:删除:'\u0000','"',oracle数据回车符:'\r','\n' 6、支持按分区导入 7、支持内存处理数据导入greenplum,导入失败生成csv格式文件,方便排错 8、支持生成csv格式文件导入greenplum。 9、传递不同配置文件,多次执行达到并行处理(注意内存溢出) 例: 执行脚本 生成日志目录 配置文件 python3 Main_Mem.py ProcessLog1 config1.ini & python3 Main_Mem.py ProcessLog2 config2.ini & python3 Main_Mem.py ProcessLog3 config3.ini & python3 Main_Mem.py ProcessLog4 config4.ini & 10、采用python 中的copy_from方法实现导入greenplum 11、各目录用途: conf :存放配置文件 etl_dat: 存放导出数据 log :存放输出日志 py_tool 存放编写工具脚本: DBconn: 数据库连接池配置及查询返回方法 DumpCsv:导出csv文件方法 Log:日志输出方法 DataBase:判断表是否存在、表或分区表是否有数据、是否为分区表、数据导出、表分区遍历、指定分区表导出等方法 py_main:主程序目录: Main_Mem.py:主程序目录: 运行:python3 Main_Mem.py ProcessLog1 config.ini 12、主程序需要修改目录参数: if __name__ == '__main__': #引用编写的包 sys.path.append('/home/oracle/PyETL2.0/py_tool') import Log,DataBase,DumpCsv #输出日志路径: path = '/home/oracle/PyETL2.0/log/'+sys.argv[1] isExists = os.path.exists(path) if not isExists: os.makedirs(path) #shutil.move(path,path+) logger = Log.log(path) #读取配置文件 config = Confile('/home/oracle/PyETL2.0/conf/', sys.argv[2]) 13、后期还会更新,欢迎提供宝贵意见。
1
阿里云如何打破Oracle迁移上云的壁垒_阿里云.pdf
2021-08-24 11:03:20 2.9MB 数据库 Oracle
oracle迁移到PostgreSQL社区代码,已经下载,分享给大家
2021-06-16 14:21:27 114KB oracle Postgresql
1
Oracle迁移到MySQL经典实战,省钱公司必备
2021-05-29 17:39:04 537KB Oracle MySQL
1
迁移
2021-05-24 14:03:56 213KB oracle
1
Oracle 10g->11g XTTS迁移方案 Oracle 9i至11g exp迁移 Oracle数据库三种迁移方案 Oracle DataGuard方式迁移数据库 数据库迁移升级最佳实践9i-10g-11g Oracle ASM扩容&数据迁移文档 06使用XTTS技术进行U2L跨平台数据迁移 Oracle 迁移至 PostgreSQL 在华为 ARM 上的解决方案 rman异机迁移 迁移 ORACLE数据库和应用异构迁移最佳实践_樊文凯 数据库信息收集表-Oracle数据库迁移升级场景-云和恩墨 零停机时间完成Oracle 上云迁移 OGG能够复制迁移包含CLOB字段的table? Oracle数据库迁移从Windows到Linux Oracle数据库迁移从Windows到Linux 18小时停机时间完成230TB数据从AIX到Linux的迁移 数据库-Oracle11gR2-RAC-with-ASM存储迁移 PDB迁移和克隆 【深度好文】ORACLE 11.2.0.4到ORACLE 19.3 PDB XTTS迁移方案测试 某医院_数据库迁移升级_实施方案 升级迁移整合守则与实践 某医院HIS核心库XTTS迁移实施方案_云和恩墨_20191126_v1.0 Oracle 11g R2 RAC with ASM存储迁移-手记 ORACLE实用技巧之不知道密码情况下dblink的迁移 Oracle 19C 升级、整合、迁移 Oracle11g单实例迁移到RAC架构方案v1.1 如何利用 RMAN 可传输表空间迁移数据库到不同字节序的平台 (Doc ID 1983639.1) 如何利用 RMAN 可传输表空间迁移数据库到不同字节序的平台 (Doc ID 1983639.1) 跨 OS 平台迁移 Oracle DB (Generic Platform) (Doc ID 1525396.1) RAC的备份迁移及恢复 如何利用 RMAN 可传输表空间迁移数据库到不同字节序的平台 (Doc ID 1983639.1) Oracle数据库基于XTTS技术的数据库迁移技术探讨 某医院_数据库迁移升级_实施方案 跨平台迁移都可以通过XTTS实现 Oracle Database Upgrade and Migration Methods - 数据库升级迁移方法 xtts迁移方案-u2l-v3.5 ORACLE 11G RAC迁移至单机
2021-03-12 17:57:40 20KB oracle oracle升级 oracle迁移
1
阿里愚公oracle迁移mysql工具 1.0.3
2021-02-04 18:03:44 2.1MB 迁移 oracle迁移mysql
1
oracle资料库资料迁移到MS-sql(sqlserver)工具,版本为6.0 如果连oracle资料库提示以下错误时, Unable to find specified provider. Error occurred while establishing connection to Oracle server. You might have 32-bit connectivity components installed on the machine, in order for SSMA to make use of those connectivity libraries, you need to run the 32-bit version of SSMA application whose shortcut can be found under the Programs menu. 请到C:\Microsoft SQL Server Migration Assistant for Oracle\bin (安装路径下) 运行 SSMAforOracle32.exe 连接资料库
2019-12-21 20:58:41 5.99MB oracle mssql
1