项目介绍 DataLink是一个满足各种异构数据源之间的实时增量同步、离线全量同步，分布式、可扩展的数据交换平台。 项目背景 着眼于未来，我们的目标是打造一个平台，满足各种异构数据源之间的实时增量同步和离线全量同步，支撑公司业务的快速发展。在充分调研的基础之上，我们发现，没有任何一款开源产品能轻易的满足我们的目标，每个产品都有其明显的短板和局限性，所以最终的选项只有"自行设计"。但自行设计并不是凭空设计，现有的数据交换平台、已有的经验、大大小小的开源产品都是我们的设计根基，与其说是自行设计，倒不如说是站在巨人的肩膀上做了一次飞跃。由此诞生了DataLink这样一个产品： 满足各种异构数据源之间的实时增量同步和离线全量同步 平台提供统一的基础设施（高可用、动态负载、同步任务管理、插件管理、监控报警、公用业务组件等等），让设计人员专注于同步插件开发，一次投入，长久受益 吸收、整合业内经验，在架

基于Flink CDC使用datastream方式全量增量同步mysql to mysql 使用的是java语言，只需配置完源数据库和目标数据库信息，运行MysqlCDC中的main函数，即可实现多库多表同步。

Transferdb transferdb用于分布式数据库迁移（Oracle数据库-> MySQL数据库），现阶段支持的功能（原transferdb版本被重构）： 支持表结构定义转换 考虑到Oracle分区表特殊且MySQL数据库复杂分区可能不支持，分区表统一认为普通表转换，但是reverse阶段日志中会打印警告【分区表】，若有要求，建议反向之后检查，需手工转换 支持自定义配置表分段类型规则转换（表->模式->内置） 支持规范配置规则转换 支持表索引创建 支持非空约束，外键约束，检查约束等 数据同步【数据同步需要存在主键或者唯一键】 FULL模式【全量数据导入导入】数据同步转换导入要求表中存在主键或唯一键，否则因异常错误退出或手工中断退出，断点续传【替换为】无法替换，数据可能会导致重复【除非手工清理下游重新导入】 ALL模式【全量导出导入+增量数据同步】 增量基于logminer日志

利用kettle和oracle数据库进行多表全量同步教程

（1）Kettle数据抽取---全量抽取

原文链接：https://blog.csdn.net/m0_37814112/article/details/128344529?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22128344529%22%2C%22source%22%3A%22m0_37814112%22%7D 实现功能： 1、全库物理备份 2、可根据指定备份日期进行全库物理恢复

《优酷 APP 全量支持“暗黑模式” ——设计与技术完整总结》现已发布！设计理念+技术架构+改造实践，全方位解读暗黑模式的技术实现。

SVN 全备和增量备份脚本，我们公司用的就是我整理的，已实践！！！

mongodb全量备份和恢复.md

华为 半球型摄像机快速入门（全量尾线）_31500CFA