FlinkCDC是Apache Flink中的一个组件，它能够实现对多种数据库的变更数据捕获（Change Data Capture, CDC）。达梦数据库（DMDatabase）是中国自主研发的高性能数据库产品，广泛应用于政府、金融、交通、医疗等领域。FlinkCDC与达梦数据库结合，可以实现基于日志的实时数据同步，这对于构建实时数据处理和分析系统具有重要意义。 FlinkCDC支持多种数据库实时数据捕获，但针对达梦数据库的连接器是特别设计的。在这个场景下，FlinkCDC通过解析达梦数据库的日志文件来捕获数据变化，能够捕获数据库中数据的插入、更新、删除等操作，并将这些变更实时同步到数据处理系统中。由于采用了基于日志的捕获方式，FlinkCDC能够高效地同步变化，减少对源数据库性能的影响，同时保证数据同步的低延迟和高可靠性。 该技术的实现主要依赖于Flink的任务管理和流处理能力，使得数据能够从达梦数据库出发，经过CDC层的转换，最终成为可供Flink应用处理的实时数据流。这不仅适用于数据仓库的数据同步，也可以用于构建事件驱动的应用程序，例如实时报表、数据监控、告警等场景。 为了实现这一过程，通常需要在Flink中配置相应的CDC连接器，并设置好与达梦数据库的连接参数，包括数据库地址、端口、用户名和密码等。一旦配置完成，Flink作业就可以启动并开始从达梦数据库捕获数据变更，然后进行进一步的数据处理和分析。 在应用层面，FlinkCDC支持JAVA程序和SQL两种方式来进行数据同步。对于开发者来说，他们可以根据自己的熟悉度和项目需求，选择合适的方式来实现数据同步的逻辑。对于JAVA开发者，他们可以通过编写Flink作业来捕获和处理变更数据；而对于使用SQL的用户，Flink也提供SQL查询的接口，简化了数据同步流程。 FlinkCDC与达梦数据库的结合，为实时数

基于Flink CDC使用datastream方式全量增量同步mysql to mysql 使用的是java语言，只需配置完源数据库和目标数据库信息，运行MysqlCDC中的main函数，即可实现多库多表同步。

《基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库》——本课程为大数据实时数仓项目实战课程，以大数据实时数仓项目为主线，理论和实战相结合，全方位、全流程、无死角讲解数仓项目的数仓基础、项目规划、需求分析、架构设计与技术选型、大数据平台构建、项目业务介绍、数据采集、数仓建模理论、数仓设计规范、数仓搭建、实时分析以及数据大屏制作。学完本课程，零基础的学员能入行大数据仓库工程师，有开发基础的学员也能快速积累项目实战经验

CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术

分享一套flink实时数仓的课程——《基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库》，2022年10月完结的新课，课程基于flink1.14版本，视频+源码+课件+软件包，一起提供下载！

基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库课程，2022年新课，flink1.14版本

给大家分享一套课程——基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库，2022新课，基于flink1.14。完整版视频+代码+课件+软件。 本课程为大数据实时数仓项目实战课程，以大数据实时数仓项目为主线，理论和实战相结合。

实时数仓_FlinkCDC.pdf

flink1.12.1 sql演示 个人练习flink的演示。 代码里自带数据生成，附带合适的数据演示。 pom.xml包含了flink绝大部分的依赖，maven下载会比较久。 目前项目内容包含了 环境 Windows 10 ltsc 的Mysql8.0.23 Idea社区版2020.3 海地SQL 环境建设教程： ://www.cnblogs.com/abramgyb/p/14587901.html 流集 使用streamset api编写flink程序 FlinkSQL flink sql api编程程序，实现ETL功能，包含读写Mysql，kafka 源Mysql MysqlCDC 下沉Mysql 使用说明 克隆仓库：git clone 使用idea打开项目 maven下载相关依赖 依赖下载完成后运行demo测试