大数据技术之kafka

大数据技术之kafka

kafka基础学习教程

kafka kafka与sparkStreaming kafka与Scala

kafka-manager-2.0.0.2 Ambari的kafka 配置kafka-manager。 CDH、开源也可以步骤一样。 kafka为开启kerberos认证的。 文章中用到的kafka-manager 适配绝大多数。 推荐使用！！！！ kafka-manager作用： 管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区分配以选择要使用的代理 运行分区重新分配（基于生成的分配） 使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置） 删除主题（仅支持0.8.2+并记住在代理配置中设置delete.topic.enable = true） 主题列表现在指示标记为删除的主题（仅支持0.8.2+） 批量生成多个主题的分区分配，并可选择要使用的代理 批量运行重新分配多个主题的分区 将分区添加到现有主题 更新现有主题的配置 可随意开启对broker级别或者对topic级别的JMX轮询 可方便的过滤出没有id 、所有者、延迟或目录等的消费者

jmeter连接kafka需要的连接器，可用于将静态测试数据通过jemter模拟高并发数据流发送到kafka中，可作为Kafka的生产者。

flink环境搭建.pdf

flume安装过程及其配图

1.hbase详解 2.kafka详解 3.hbase过滤器详解

Flume的介绍及其架构组成 Flume的安装部署 Flume的测试运行 Flume中配置使用file channel及HDFS sink Flume中配置HDFS文件生成大小及时间分区 Flume中配置Spooling Dir的使用 Flume中配置Spooling Dir的文件过滤 Flume中配置扇入架构的介绍 Flume中配置扇入架构的测试实现 Flume中配置扇出架构的实现 Flume中Taildir的介绍及编译 Flume中Taildir的配置及测试使用