项目介绍 DataLink是一个满足各种异构数据源之间的实时增量同步、离线全量同步，分布式、可扩展的数据交换平台。 项目背景 着眼于未来，我们的目标是打造一个平台，满足各种异构数据源之间的实时增量同步和离线全量同步，支撑公司业务的快速发展。在充分调研的基础之上，我们发现，没有任何一款开源产品能轻易的满足我们的目标，每个产品都有其明显的短板和局限性，所以最终的选项只有"自行设计"。但自行设计并不是凭空设计，现有的数据交换平台、已有的经验、大大小小的开源产品都是我们的设计根基，与其说是自行设计，倒不如说是站在巨人的肩膀上做了一次飞跃。由此诞生了DataLink这样一个产品： 满足各种异构数据源之间的实时增量同步和离线全量同步 平台提供统一的基础设施（高可用、动态负载、同步任务管理、插件管理、监控报警、公用业务组件等等），让设计人员专注于同步插件开发，一次投入，长久受益 吸收、整合业内经验，在架

基于Flink CDC使用datastream方式全量增量同步mysql to mysql 使用的是java语言，只需配置完源数据库和目标数据库信息，运行MysqlCDC中的main函数，即可实现多库多表同步。

java使用datax增量同步代码，直接放到项目可使用，支持增量，全量可配置，同步一张表只需添加一条记录

dbpull--sync支持增量拉取设备文件到本地（windows版本adb），adbpull增量同步

该jar包（solr-dataimportscheduler-1.2.jar）实现了solr数据同步的增量、全量同步，还添加了登录验证功能，同时还包含了源码，亲测可用

主要解决informatica增量同步数据时候无法同步删除的问题

使用Kettle同步mysql数据，增量同步,两个数据库数据同步

数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改

canal_mysql_elasticsearch_sync支持请星 :sparkles: 交流Q群：733688083 canal于v1.1.2版本后，已支持自动同步到Elasticsearch。赞canal！ 基于运河的Mysql的与Elasticsearch实时同步的的JavaWeb服务。 canal是阿里巴巴mysql数据库binlog的增量订阅和消费组件。 工作原理 全量 暴露的Http接口（接口定义见 ），待调用后开启后台线程，通过主键分批同步指定数据库中数据到Elasticsearch 读取数据库会加读锁主键必须为数字类型 过程 首先会根据所给的数据库主键分段，拿到最大的主键数字max_id；

官方adb push支持--sync增量同步本地文件到设备，但是pull不支持此参数，当需要从设备同步文件到电脑时不方便，每次都会全量同步。所以参考push的--sync，修改官方adb源码给adb pull 增加一个参数 --sync，支持增量同步手机中的文件到本地电脑。 附件是已编译好的adb，windows版本。 使用方法： 1.例如将手机中的所有照片增量同步到电脑D:\databackup\，确保D:\databackup\目录已经存在，执行如下命令同步： adb pull --sync /storage/emulated/0/DCIM D:\databackup\