带有进度条显示的快速迁移表的python包,快读sql生成DataFrame,生成CSV。
1.3.2更新说明,恢复mysql列名关键字占用。
支持千万级数据迁移,支持自定义迁移列,自定义迁移数据结构
在您无法使用load或dump命令,或者所迁移表结构不同,需要对数据做处理时使用。
标准化多线程识读器,无需关注识读过程,只需关注入库前数据的处理
本地缓存入库,降低内存,
一,安装
pip安装fast_sql
二,依赖环境
Python3.6 +
Oracle
二,示例
import fast_sql
多线程读表生成DataFrame
# con 数据库连接字符串,或者 sqlalchemy 对象
# chunksize 单个线程读取数量 默认20000
# show_progress 是否显示进度条
# thread_num 线程数量
# return Dataframe
# 其他
2021-03-08 15:06:55
67KB
Python
1