非常详细的OGG安装、配置、维护文档 1. OGG安装与配置 1 1.1. 方案介绍 1 1.1.1. 操作系统和数据库版本 2 1.1.2. 数据库信息 2 1.1.3. 存储空间规划 3 1.1.4. 目标库用户列表 3 1.1.5. Ogg逻辑图 4 1.2. 安装(源和目标端) 4 1.2.1. 系统准备 4 1.2.2. 下载软件 5 1.2.3. 安装软件 5 1.3. 源数据库配置 6 1.3.1. 环境检查与准备 6 1.3.2. 配置源端mgr管理进程 8 1.3.3. 配置源端extract抽取进程 8 1.3.4. 配置源端dump投递进程 9 1.4. 配置目标数据库 10 1.4.1. 环境准备 10 1.4.2. 初始化全量数据 11 1.4.3. 同步数据 11 1.4.4. 配置目标端mgr进程 12 1.4.5. 编辑目标端globals参数 12 1.4.6. 创建表定义文件 12 1.4.7. 配置目标rep复制进程 13 1.5. ogg日常维护 14 1.5.1. 进入ogg控制界面 14 1.5.2. 启停ogg进程 14 1.5.3. 查看进程状态 14 1.5.4. 查看错误信息 16 1.5.5. 查看和修改进程配置 16 1.5.6. 查看文件系统使用情况 16 1.5.7. 增加表 16 1.5.8. 修改表 18

业务系统经常会遇到需要更新数据到多个存储的需求。例如：一个订单系统刚刚开始只需要写入数据库即可完成业务使用。某天BI团队期望对数据库做全文索引，于是我们同时要写多一份数据到ES中，改造后一段时间，又有需求需要写入到Redis缓存中。很明显这种模式是不可持续发展的，这种双写到各个数据存储系统中可能导致不可维护和扩展，数据一致性问题等，需要引入分布式事务，成本和复杂度也随之增加。我们可以通过CDC（ChangeDataCapture）工具进行解除耦合，同步到下游需要同步的存储系统。通过这种方式提高系统的稳健性，也方便后续的维护。CDC全称是ChangeDataCapture，它是一个比较广义的概念

支持MySQL数据的实时复制与1：n分发。支持大数据量、高并发，普通笔记本电脑，实测5000TPS响应正常，单条事务日志大小10MB以上。订阅方可以为TCP、UDP或KAFKA，同时支持短连接和长连接。数据源可以为远程MYSQL数据库，也可以为本地binlog日志文件。支持group commit(MySQL5.7以上)和workset(MySQL8.0以上)并行复制。输出报文为JSON格式。欢迎免费使用，用法详见附件readme。有任何意见建议可随时与作者联系。

Canal是阿里巴巴的实时数据同步工具，基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql 详情查看 https://github.com/alibaba/canal/wiki/