DataX是一个支持主流数据库的通用数据采集工具
详细描述了如何安装部署和每个采集插件的使用方法
该项目从阿里的而来,经过了精简和改造,说明如下
功能差异说明
精简
删除了仅在阿里内部的数据库,这些数据库在非阿里集团无法使用,因此直接删除,包括:
美国存托凭证
DRDS
OCS
ODPS
开源软件
OTS
增加
增加了部分插件,目前包括
阅读器插件
clickhousereader
dbffilereader
hbase20xreader
jsonfilereader
Kudureader
influxdbreader
httpreader
作家插件
dbffilewrite
青梅作家
库杜作家
Influxdbwriter
部分插件增强功能,罗列如下
关系型数据库增加了几乎所有基本数据类型和部分复杂类型的支持
hdfswriter增加了对十进制数据类型格式的支持
hdfswriter增加了对Parquet文件格式的支持
hdfswrite增加了目录覆盖模式
hdfswriter增加了更多的文件压缩格式支持
hdfswriter的临时目录位置放入为当前写入目录下的
1