自己博客上用到的数据

ds工作流调度安装,sqoop,datax.

1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者转换时需要注意，再数据迁移json模板中，"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX迁移时会出现异常 执行语句：python /opt/module/datax/bin/datax.py /opt/module/datax/job/xxx.json

1、大数据异构数据源-数据采集工具 2、DataX产品说明书

datax抽取mysql表到pgsql表的json配置

获取java各种项目源码 preparation Language: Java 8 Environment: MacOS, 16G RAM Database: Mysql5.7 建议Python2.7 todo list springboot重构项目 集成swagger，方便调试 集成mybatis plus和Mysql数据库存放应用数据 网页端修改并持久化job配置的json到数据库 网页端实时查看抽取日志，类似Jenkins的日志控制台输出功能 实时查看抽取日志BUG功能修复2019-11-07 * [ ] 网页端各种读写插件模板生成，可以在页面组装使用 * [ ] 实现datax分布式作业 实现部分写插件支持自动建表功能 实现定时任务来调度抽取作业 前端项目 源码在 datax-vue-admin-ui 目录 how to run 1. 下载datax打包之后的文件或者github拉取datax代码打包，配置环境变量 DATAX_HOME=G:\learndemo\springboot-datax\datax\bin 2. 执行datax-web/db下面的sql文件并修改app

DataX_python3 由于python为3.7.0，所以把datax/bin目录下的三个py文件需要符合python3语法要求的文件，执行也才能不报错。 如需要，下载这三个文件替换即可。

datax 的clickhouse wirte JAR包，实测datax-web下可用，不报错，包含 （1）clickhousewriter-0.0.1-SNAPSHOT.jar （2）libs （3）plugin_job_template.json （4）plugin.json 直接拖到/usr/local/datax/plugin/writer下使用

阿里 数据同步软件，自己git下来打包的。开箱即用。 使用步骤：1、 bin目录 ./intall.sh,修改yourpath/datax-web-2.1.2/modules/datax-executor/conf/application.yml 在最后指定你datax.py路径 2、./startup-all.sh 访问 ip:9527/index.html

datax数据迁移插件，神通数据库读取插件