spark-streaming_2.12-2.4.0.jar包，可以使用

Kafka离线安装包，此压缩包还提供了python的安装工具的离线安装包，可将其解压后使用python setup.py install 命令分别安装setuptools和pip后，在使用pip安装Kafka，若系统已经存在pip，则可忽略上一步。

Spark源代码在Eclipse3.5.2中的部署、编译、运行.docSpark源代码在Eclipse3.5.2中的部署、编译、运行.docSpark源代码在Eclipse3.5.2中的部署、编译、运行.doc

风暴卡夫卡 风暴拓扑将风暴与Kafka和Elasticsearch集成 该Storm拓扑使用Kafka Spout读取来自Kafka的消息，并使用Bolt将从Kafka读取的传入消息解析为JSON消息。 然后将已解析的JSON消息加载到Elastic搜索中以使用Kibana进行仪表板和分析 该项目的前提条件：Zookeeper安装Kafka Broker Storm安装并启动Nimbus，Supervisor，Logviewer和UI Elastic search Kibana（用于仪表板） 设置：安装完上述工具集后，将maven项目下载到本地工作区中并构建一个jar 执行：风暴罐/Storm-Kafka-ES-Integration/target/StormKafkaESIntegration-0.0.1-SNAPSHOT-jar-with-dependencies.jar com.

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

Spark官方文档离线版，无法连接外部网络的同事可以查看，内包含Spark官方使用用例，Scala 与 Java API手册

Kafka技术内幕，详细介绍Kafka内部的实现原理，剖析源码

研究了一段时间后，根据网上的例子，做大量的削减及根据需要做出的最简化使用实例，并且加入了获取kafka的server端的状态信息，根据状态信息配置启动时读写位置

kafka连接池_python版本 里面包含java的jar包 由于kafka在写入时会存在并发问题，采用连接池思想，抽取一种连接池的方式，连接池是采用Apache pool作为池管理，然后将生产者的连接点放到池中，在编译时需注意kafka版本问题以及所对应的scala，kafka版本是kafka_2.10-0.8.2.1

消费kafka数据，然后批量导入到Elasticsearch,本例子使用的kafka版本0.10，es版本是6.4，使用bulk方式批量导入到es中，也可以一条一条的导入，不过比较慢。 org.elasticsearch elasticsearch 6.4.0 org.elasticsearch.client elasticsearch-rest-high-level-client 6.4.0 org.elasticsearch.client transport 6.4.0 org.apache.kafka kafka-clients 0.10.1.0