DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。
DataX Web安装环境：
Language: Java 8（jdk版本建议1.8.201以上）
Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下)
Environment: MacOS, Windows,Linux
Database: Mysql5.7
DataX Web功能特点：
1、通过Web构建DataX Json；
2、DataX Json保存在数据库中，方便任务的迁移，管理；
3、Web实时查看抽取日志，类似Jenkins的日志控制台输出功能；
4、DataX运行记录展示，可页面操作停止DataX作业；
5、支持DataX定时任务，支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
6、调度采用中心式设计，支持集群部署；
7、任务分布式执行，任务"执行器"支持集群部署；
8、执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行；
9、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
10、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
11、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
12、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；
13、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
14、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
15、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
16、运行报表：支持实时查看运行数据，以及调度报表，如调度日期分布图，调度成功分布图等；
17、指定增量字段，配置定时任务自动获取每次的数据区间，任务失败重试，保证数据安全；
18、页面可配置DataX启动JVM参数；
19、数据源配置成功后添加手动测试功能；
20、可以对常用任务进行配置模板，在构建完JSON之后可选择关联模板创建任务；
21、jdbc添加hive数据源支持，可在构建JSON页面选择数据源生成column信息并简化配置；
22、优先通过环境变量获取DataX文件目录，集群部署时不用指定JSON及日志目录；
23、通过动态参数配置指定hive分区，也可以配合增量实现增量数据动态插入分区；
24、任务类型由原来DataX任务扩展到Shell任务、Python任务、PowerShell任务；
25、添加HBase数据源支持，JSON构建可通过HBase数据源获取hbaseConfig，column；
26、添加MongoDB数据源支持，用户仅需要选择collectionName即可完成json构建；
27、添加执行器CPU、内存、负载的监控页面；
28、添加24类插件DataX JSON配置样例
29、公共字段（创建时间，创建人，修改时间，修改者）插入或更新时自动填充
30、对swagger接口进行token验证
31、任务增加超时时间，对超时任务kill datax进程，可配合重试策略避免网络问题导致的datax卡死。
32、添加项目管理模块，可对任务分类管理；
33、对RDBMS数据源增加批量任务创建功能，选择数据源，表即可根据模板批量生成DataX同步任务；
34、JSON构建增加ClickHouse数据源支持；
35、执行器CPU.内存.负载的监控页面图形化；
36、RDBMS数据源增量抽取增加主键自增方式并优化页面参数配置；
37、更换MongoDB数据源连接方式,重构HBase数据源JSON构建模块；
38、脚本类型任务增加停止功能；
39、rdbms json构建增加postSql，并支持构建多个preSq
2021-11-05 09:05:32
19.52MB
1
非常详细的OGG安装、配置、维护文档
1. OGG安装与配置 1
1.1. 方案介绍 1
1.1.1. 操作系统和数据库版本 2
1.1.2. 数据库信息 2
1.1.3. 存储空间规划 3
1.1.4. 目标库用户列表 3
1.1.5. Ogg逻辑图 4
1.2. 安装(源和目标端) 4
1.2.1. 系统准备 4
1.2.2. 下载软件 5
1.2.3. 安装软件 5
1.3. 源数据库配置 6
1.3.1. 环境检查与准备 6
1.3.2. 配置源端mgr管理进程 8
1.3.3. 配置源端extract抽取进程 8
1.3.4. 配置源端dump投递进程 9
1.4. 配置目标数据库 10
1.4.1. 环境准备 10
1.4.2. 初始化全量数据 11
1.4.3. 同步数据 11
1.4.4. 配置目标端mgr进程 12
1.4.5. 编辑目标端globals参数 12
1.4.6. 创建表定义文件 12
1.4.7. 配置目标rep复制进程 13
1.5. ogg日常维护 14
1.5.1. 进入ogg控制界面 14
1.5.2. 启停ogg进程 14
1.5.3. 查看进程状态 14
1.5.4. 查看错误信息 16
1.5.5. 查看和修改进程配置 16
1.5.6. 查看文件系统使用情况 16
1.5.7. 增加表 16
1.5.8. 修改表 18
2021-10-13 13:06:12
190KB
1
支持MySQL数据的实时复制与1：n分发。支持大数据量、高并发，普通笔记本电脑，实测5000TPS响应正常，单条事务日志大小10MB以上。订阅方可以为TCP、UDP或KAFKA，同时支持短连接和长连接。数据源可以为远程MYSQL数据库，也可以为本地binlog日志文件。支持group commit(MySQL5.7以上)和workset(MySQL8.0以上)并行复制。输出报文为JSON格式。欢迎免费使用，用法详见附件readme。有任何意见建议可随时与作者联系。
2021-10-09 17:04:10
2.64MB
1
Synchredible Pro 是一款优秀的可同时兼容文件夹和驱动器的专业数据备份和数据同步工具，无论是单个文件还是整个驱动器，Synchredible都会为您同步、复制和保存它们，具有单向同步（将文件/文件夹从源复制到目标）、双向同步（同步文件和文件夹结构—）局域网内数据同步、子目录同步、所有文件同步、较新文件同步、存档位同步（设置存档位的文件仅同步为真/删除存档位）、跳过未更改文件、自动删除已在源文件夹中不存在的文件、文件过滤筛选、同步预览、计划同步以及文件的CRC32验证同步等实用功能，内置的数据同步向导将帮助用户确定预先安排的任务或通过USB连接完成的任务，这样一来用户就可以自动保持文件同步，最新版本的Synchredible文件同步工具采用了独创的文件复制技术，让文件匹配和自动检测目标文件更改变得更加容易
2021-08-20 01:06:35
14.6MB
1
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过该工具可以实现不同数据库之间的数据传输（百度云链接）
2021-08-18 18:15:53
75B
FlinkX
| 中文
技术交流
招聘Flink研发工程师，如果有兴趣可以联系思枢（微信号：ysqwhiletrue）
Flink开发工程师JD要求：
1.负责袋鼠云基于Flink的衍生框架数据同步flinkx和实时计算flinkstreamsql框架的开发；
2.调研和把握当前最新大数据实时计算技术，将其中的合适技术引入到平台中，改善产品，提升竞争力；
职位要求：
1、本科及以上学历，3年及以上的Flink开发经验，精通Java，熟悉Scala、Python优先考虑；
2、熟悉Flink原理，有基于Flink做过二次源码的开发，在github上贡献者Flink源码者优先；
3、有机器学习、数据挖掘相关经验者优先；
4、对新技术有快速学习和上手能力，对代码有一定的洁癖；
加分项：
1.在GitHub或其他平台上有过开源项目
可以添加本人微信号ysqwhiletrue，注明招聘，如有意者发
2021-06-21 10:57:27
18.91MB
1