基于springboot，websocket，kafka实现了实时的消息推送功能，这里是所有的代码实现

springboot集成kafka实战项目代码 项目介绍地址：https://blog.csdn.net/qq_38105536/article/details/122308040

flume-ng-sql-source实现oracle增量数据读取 flume连接oracle增量数据读取

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

之前一直在找kafka的java依赖的jar包，但是苦于版本都比较低。后来找到了新版的2.2.0，分享一下，送个生产者的Demo 注意要用JDK1.8.....1积分意思一下

参考网上的资料并且总结了大数据中常用的几种数据库的开发规范,其中包括hbase,hive,solr,kafka等表和字段的命名规则,以及可能引起的问题的解决方法,有助于避免开发中因为命名的问题导致的错误,供大家参考学习和交流,总结不到位的地方,还需自己去网上查找更详细的资料学习

前 言 大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南 一、Hadoop 分布式文件存储系统：HDFS 分布式计算框架：MapReduce 集群资源管理器：YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 开发环境搭建 Data Source Data Transformation Data Sink 窗口模型 状态管理与检查点机制 Standalone 集群部署 六、HBase 简介 系统架构及数据结构 基本环境搭建 集群环境搭建 常用 Shell 命令 Java API 过滤器详解 可显示字数有限，详细内容请看资源。

flume官网下载太慢，请从这里下载，次文件是官方网站的1.8版本，也就是支持jdk1.8的，不支持jdk1.7，如果要支持jdk1.7的，请下载我的资源里面也有，flume1.7，

canal 同步数据 从mysql到kafka

kafka manager可视化管控台压缩包