TiDB 数据同步复制学习总结

织梦PC+WAP数据同步插件V2.2。1、破解识别码过期无法使用；2、源码未加密；3、兼容织梦sp2最新版；4、该插件已破解可无限使用！织梦手机助手实现pc\wap共用一个后台，一键同步更新！

Redis主节点与从节点间实现数据一致性的处理流程，包括主从复制和命令传播的处理流程

功能全 支持数据增量实时复制、指定起点进行历史数据复制。2.0版支持MySQL及Oracle。支持TCP、UDP、KAFKA方式输出，输出报文格式为JSON报文。每种输出方式均支持长连接、短连接。支持断点续传。 性能强 延迟短MySQL采用binlog日志，Oracle采用Logminer，时效性高。高并发除传统的单线程复制外，支持按库（DB）或按GROUP多线程并发进行数据复制及分发，处理能力好。 高可用 支持集群部署或Master-Slave部署，以zookeeper为控制器，支持单点故障情况下的自动重续处理。 轻量级 独立部署，除各类数据库产品提供的API库之外，无第三方框架依赖。

该jar包（solr-dataimportscheduler-1.2.jar）实现了solr数据同步的增量、全量同步，还添加了登录验证功能，同时还包含了源码，亲测可用

datax二次开发hdfswriter支持parquet文件且支持自动创建目录

Oracle数据库的数据每天做全量复制到FTP服务器上，其中有一个数据表做的是第一天全量之后增量，4张表每天同步数据量在300万，全量数据使用的是按月份查询的分批写入

DBSync 数据同步工具是一款异构数据库之间数据同步的工具，目前支持的数据库有：access、sqlserver、oracle、 db2、sybase ase 11-15,Mysql,同时，该软件提供的ODBC的同步功能，可以间接实现对FireBird,INTERBASE等其他数据库的支持,该版本实现了对二进制字段同步的支持，以后的版本中，会逐渐支持其他类型的数据库。 DBsync还提供批量脚本更新的功能（参照界面中定义的规范），该工具可以实现计划、增量、两表记录保持一致等方式的同步操作。DBSync同时提供给开发商二次开发的接口，开发商可以很方便地配置需要进行同步的数据。新增的快速事务处理功能，能提供百万级数据记录的同步能力。新加入的远程同步任务功能，可以和远程数据交换服务器组合成为全球数据交换系统;远程文件同步任务，和远程数据交换服务器配合，组成公司内部使

SqlServer,Mysql数据同步系统，适用于企业数据库做数据迁移。支持实时同步，可设置同步频率，或者定时同步都可以。 退出系统要输入密码，默认666666

需安装软件，可设置开机自动运行。实现各系统之间数据共享，可以用来数据备份，通过ftp传输，可实现全量备份和增量备份，可以设置定时任务