主要完成 kafka 生产数据、接数据 、通过Java代码上传数据的完整流程 文件包括：hdfstest.java、kafkatest.java、Producer.java、NewConsumer.java、NewConsumer2HDFS.java

队列使用全集

我分别从Kafka的定位、版本的变迁以及功能的演进等几个方面循序渐进地梳理了 Apache Kafka的发展脉络。通过这些内容，我希望你能清晰地了解Kafka是用来做什么的，以及在实际生产 环境中该如何选择Kafka版本，更快地帮助你入门Kafka。 现在我们就来看看在生产环境中的Kafka集群方案该怎么做。既然是集群，那必然就要有多个Kafka节点机 器，因为只有单台机器构成的Kafka伪集群只能用于日常测试之用，根本无法满足实际的线上生产需求。而 真正的线上环境需要仔细地考量各种因素，结合自身的业务需求而制定。下面我就分别从操作系统、磁盘、 磁盘容量和带宽等方面来讨论一下。

在Kafka中，Producer默认不是幂等性的，但我们可以创建幂等性Producer。它其实是0.11.0.0版本引入的 新功能。在此之前，Kafka向分区发送数据时，可能会出现同一条消息被发送了多次，导致消息重复的情 况。在0.11之后，指定Producer幂等性的方法很简单，仅需要设置一个参数即可，即 props.put(“enable.idempotence”, ture)，或 props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG， true)。

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

密码：gg 1.1 目的 本文结合轻量化数据资源平台需求文档，及数据资源平台V1.1概要设计文档为基础，旨在描述轻量化数据资源平台的使用场景、运行环境、数据源以及各模块的组成、框架设计、模块的处理流程。 本文档的预期读者为：项目经理、设计工程师、研发工程师、工程师以及数据工程师。 1.2 背景 数据资源平台提供将物联网感知设备的数据、各行业平台、第三方系统的物联网数据、业务数据进行统一汇聚；实现原始数据汇聚管理、数据治理、并基于整体数据提供数据服务的能力。数据资源平台首先面对、提供应用服务的场景为平安城市项目，该解决方案面对海量的物联网感知和用户业务数据，需要数据资源平台提供大容量的存储能力。 在面对教育、小型社区、零售等小数据量的应用场景下，数据资源平台显得不那么合适。该解决方案对用户和实际场景来说，成本过高。因此，针对小型数据场景，需要推出轻量化的数据资源平台。 密码：gg

apache-flume-1.9.0-bin.tar，kafka_2.11-0.10.1.0，zookeeper-3.3.6_.tar 压缩 到了一个logs.rar文件中，需要的请下载

本人积累的一些Kafka调试的常用命令，主要包含：启动Kafka、创建Topic、 查看topic列表、创建生产者、创建消费者、修改分区数、删除Topic、自带生产者性能测试

kafka_2.11-0.10.2.0 版解压使用 kafka kafka kafka kafka kafka

kafka0.10.2.1集群搭建 记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢