Datax 插件开发 Kafka writer.pdf

datax+ DataX-web-2.1.2,修改了源码，支持mysql8，省去了你们下载源码编译打包过程

DataX是一个支持主流数据库的通用数据采集工具 详细描述了如何安装部署和每个采集插件的使用方法 该项目从阿里的而来，经过了精简和改造，说明如下 功能差异说明 精简 删除了仅在阿里内部的数据库，这些数据库在非阿里集团无法使用，因此直接删除，包括： 美国存托凭证 DRDS OCS ODPS 开源软件 OTS 增加 增加了部分插件，目前包括 阅读器插件 clickhousereader dbffilereader hbase20xreader jsonfilereader Kudureader influxdbreader httpreader 作家插件 dbffilewrite 青梅作家 库杜作家 Influxdbwriter 部分插件增强功能，罗列如下 关系型数据库增加了几乎所有基本数据类型和部分复杂类型的支持 hdfswriter增加了对十进制数据类型格式的支持 hdfswriter增加了对Parquet文件格式的支持 hdfswrite增加了目录覆盖模式 hdfswriter增加了更多的文件压缩格式支持 hdfswriter的临时目录位置放入为当前写入目录下的

在Linux系统 下DATAX安装所需环境以及安装步骤，讲解详细，有开发实例！

datax同步数据到es插件

本文档是包含截止到上传日期为止，最新最全的有关异构数据库迁移工具DataX的所有配置API说明文档。有需要的可以下载使用。文档可以直接打开看，如果不习惯使用MD文件的，也可以使用markdown转换为HTML也可以。都是技术出身，你懂的。

java集成datax的demo代码，相关介绍文档详见 https://blog.csdn.net/linlzk/article/details/107400993

datax同步mysql数据到elasticsearch组件。DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

个人修改的datax源码。支持一次读多次写方式，配置已经在上次文中给出。

1、说明：datax支持presto读取，datax规范开发插件，读取presto中数据，可以在presto中配置mysql、postgresql、es、hive等数据库的连接，通过datax执行关联查询，数据存入新的库 2、插件更新：解压文件 prestoreader.zip 到如下目录 $DATAX_HOME/plugin/reader/