MartinHub的学习笔记 关于我 MartinHub :smiling_face_with_sunglasses: ，，热爱生活！热爱技术！ 微信公众号【MartinHub】 个人微信号【MartinHub】 项目介绍 大数据 Java 数据库 Linux 杂记 :bullseye: :hot_beverage: :floppy_disk: :cloud: :memo: :black_nib:本仓库有来源自己总结，网上收集，视频笔记，如果有区别之处，可以联系我进行删除。 :scroll:笔记仓库： GitHub上： Gitee： :scroll:笔记地址： GitHub上： Gitee： 因个人能力有限，笔记中可能还有很多错误的地方，还请大家能够多多指出交流，也欢迎各位小伙伴能够提交拉请求请求进行完善。 注意：因为构建页面的框架缓存，访问笔记地址时，为防止最新更新的笔记看不到，请浏览器打开网址后，先清除页面缓存。

datax数据从hive表导入mysql表,数据缺失解决

数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改

java调用shell命令，在shell命令中调用DataX任务并传递参数。 坑主要在DataX传递参数涉及到特殊字符应该如何处理这块，有时间可以自己试； 没时间可以用我的经验，自己选择；

datax-increase datax增量改造

阿里巴巴Datax离线同步方案到ElasticSearch（官方由于不维护，所以没有读取/写入到ElasticSearch的方案），这里给出了读取/写入方案插件代码，直接编译出Jar包放到Datax中即可。

打包好的支持Oracle\PostGreSQL\MySQL异构数据库间数据同步； 配置的模板解压见job目录下的 xx2xx_DEMO.json

解析datax同步日志，标记出异常的Job信息。

datax使用python3的替换bin文件

springboot集成datax的demo，下载及能运行