一个手动管理spark streaming集成kafka时的偏移量到zookeeper中的小项目

澎 surging是一个分布式微服务框架，提供高性能的RPC远程服务调用，采用Zookeeper，Consul作为surging服务的注册中心，集成了哈希，随机，替代，压力最小优先负载均衡的算法，RPC可以选择采用netty或Thrift框架，采用异步非双重传输。 名字由来 英文名称：surging 中文名：滔滔 中文名来自周星驰的经典台词 我对阁下的景仰犹如滔滔江水，连绵不绝，犹如黄河泛滥，一发而不可收拾，而取名意味着一样，.net core技术风起云涌，冲击整个软件生态系统。 微服务定义 微服务应该是可以自由组合细分，对于每个业务都是独立的，针对于业务模块的CRUD可以注册为服务，而每个服务都是高度自治的，从开发，部署都是独立的，而每一个服务只做单一功能，利用领域驱动设计去更好的分割成粒度更小的模块 微服务边界 微服务是针对业务的松散重组，也是粒度最小的功能业务模块，针对于行业解决方案

kafka-eagle编译好的包

本文收集了近年各公司大数据开发岗位的面试题，涉及Hadoop、Spark、kafka、HBASE等大数据组件相关组件

工作中的宝典，都是在实际工作中总结常用的知识点，不只是java&java底层，还有常用框架相关的设计原理及讲解，比如kafka、数据库、spring、常用算法等等，可以说无论是工作还是面试必看的宝典

Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持KafkaServer间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数据处理为什么要用MessageQueue在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理

自制jar包，包含kafkaconsumer、producer（包含acl的），以及flink udf

kafka.docx

librdkafka动态运行时源码,github下载速度如同龟速，大家可以使用这个

kafka相关资源，包含：kafka_2.12-2.7.0.tgz、jdk-8u40-windows-x64.exe、apache-zookeeper-3.6.