一.网络爬虫 二.Kafka与MySQL的组合使用 访问豆瓣电影Top250，将获取到的信息保存至本地文件中或者数据库中，访问微博热搜榜，并将获取到的数据通过邮件的形式，每20秒发送一次到个人邮箱中。 读取student表的数据内容，将其转为JSON格式，发送给Kafka； 再从Kafka中获取到JSON格式数据，打印出来。 编写生产者程序，将json文件数据发送给Kafka； 编写消费者程序，读取Kafka的json文件数据，并手动提交偏移量。 编写生产者程序，以通用唯一标识符UUID作为消息，发送给主题assign_topic； 编写消费者程序1，订阅主题的分区0，只消费分区0数据； 编写消费者程序2，订阅主题的分区1，只消费分区1数据；

项目需求：将kafka解析来的日志获取到数据库的变更记录，按照订单的级别和订单明细级别写入数据库，一条订单的所有信息包括各种维度信息均保存在一条json中，写入mysql5.7中。 配置信息： [Global] kafka_server=xxxxxxxxxxx:9092 kafka_topic=mes consumer_group=test100 passwd = tracking port = 3306 host = xxxxxxxxxx user = track schema = track dd_socket = dd_host = xxxxxxxxxxxx dd_port = 330

confluent kafka 这个库使用不复杂，前期没有选择这个开发库的主要原因，是它的依赖比较多，前期一直跑不起来，在经过多方找寻后，终于跑通 了，开发库已经上传，大家可以在这个地址下载。除了依赖库，还提供了监测工具，以及一份说明文档，整个demo跑起来的必备一些软件包等。demo使用confluent kafka版本0.11.4

cmdline-jmxclient-0.10.3.jar和KafkaOffsetMonitor-assembly-0.2.0 .jar

本书是以kafka 0.10版本来进行分析的，带目录，可编辑的pdf，介绍超详细

tsdb InfluxDB数据库Java客户端 介绍 代理网关influxdb-proxy 使用influxdb-java客户端连接InfluxDB数据库。 数据处理data-handling 连接kafka服务器从其中获取数据，处理数据之后调用代理网关influxdb-proxy将数据插入数据库。 查询代理query 预处理查询语句，过滤危险查询代码，调用查询InfluxDB数据库。 公用模块common 变量、常量、异常、接口和工具类。 注册中心ra 代理网关influxdb-proxy中的接口由其他模块公用，使用SpringCloud微服务方式提供接口，可以将项目拓展为集群式高可用的服务。 项目编译运行 项目技术栈 Maven + (Spring Boot 1.5.12 + kafka + Jedis + Redis + Influxdb-java) 构建 本项目使用Maven来进行

1.高可靠性 2.高扩展性 3.高效性 4.高容错性 5.低成本

Kafka Streams in Action教会您在Kafka平台中实现流处理。在这本易于遵循的书中，您将探索收集、转换和聚合数据、使用多个处理器以及处理实时事件的实际示例。您甚至可以使用KSQL深入到流SQL中!到最后，它以测试和操作方面(如监视和调试)结束。

Benthos是一种高性能且具有弹性的流处理器，能够以各种代理模式连接各种和并对有效负载执行。 它带有，易于部署和监视，并可以作为静态二进制文件，docker映像或放入您的管道中，从而使它像原生一样自然云化。 Benthos是完全声明性的，在单个配置文件中定义了流管道，可让您指定连接器和处理阶段列表： input : gcp_pubsub : project : foo subscription : bar pipeline : processors : - bloblang : | root.message = this

flink-kafka-hbase 功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能) 支持at least once语义 外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心 配置： { "indexColumnMapping": { --indexColumnMapping即CSV格式消息的key和value按照value里的分隔符拼接后再分割后下标及写入hbase列的对应关系 "0": "basic:time", --第0列始终是kafka消息的key，如果不需要可以不指定 "1": "basic:user_id",