一种基于Kafka/Hadoop/Hive平台的大规模智慧路灯的数据采集与处理系统，何沙，肖波，随着信息科技的飞速发展，智慧路灯出现在了人们视野中。区别于普通路灯，智慧路灯集成了很多智能模块。这些模块实时地向服务器上

徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

kafka2.4.0+zookeeper+kafka-connect集成安装包

Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111

工作流业务案例：具有多级批准的服务请求 目录 服务请求用例专注于通过基于Web的UI，通知和Camunda工作流演示服务请求过程。 服务请求流程对可能需要批准或拒绝的几个人工审核步骤进行了建模。 以及通过TCP与事件系统（Kafak）进行异步通信进行系统交互，以及通过HTTP / REST在点对点模式下进行同步通信。 这可以作为示例，以设计的工作流引擎作为编排的面向事件的体系结构中的业务流程引擎来设计分布式系统。 过程中的有趣之处 该过程的这一部分特别有趣，并包含许多功能。 在工作流级别，我们正在协调用户任务以对服务请求进行显式多级审查。 每次审核后，我们都会向Kafka发送事件，以可能通知其他系统（如UI）有关任务的完成和服务请求的更新。 请注意，在拒绝路径上，没有为服务请求的请求者定义用户任务。 这是为了表示可以以多种方式通知请求者有关拒绝的信息，并且更新服务请求的方法对于工作

【SWASH模型】Linear progressive waves through a flume算例输入文件

项目名称 电影推荐系统——烂豆瓣 项目目标 打开电影网站，脑袋就开始发大，动作片，爱情片，科幻片，中国的，欧美的，日韩的，到底哪一部最合自己的口味？茫茫影海，想要找到自己的“真爱”，谈何容易？我们知道你们找得辛苦，所以我们为你量身推荐电影！ 项目任务 任务 具体任务 负责人 工作量 数据集 负责完成收集电影、用户以及评分数据集，并对数据进行清洗，建立新的数据结构。建立并维护系统数据库。 推荐引擎 负责完成推荐系统，包括基于用户历史数据的离线推荐系统以及收集用户实时行为数据，进行精准的实时推荐。 API服务 负责完成基于烂豆瓣各产品，面向开发者的开放接口（API）服务。在这里，开发者可以接入烂豆瓣电影推荐的优质内容，以及基于各种兴趣的用户关系。 web应用 负责完成一个电影推荐web应用，利用开发接口API以及酷炫的web前端页面，实现用户与推荐系统的完美交互。 数据集 本系统所需要的电影数

一.网络爬虫 二.Kafka与MySQL的组合使用 访问豆瓣电影Top250，将获取到的信息保存至本地文件中或者数据库中，访问微博热搜榜，并将获取到的数据通过邮件的形式，每20秒发送一次到个人邮箱中。 读取student表的数据内容，将其转为JSON格式，发送给Kafka； 再从Kafka中获取到JSON格式数据，打印出来。 编写生产者程序，将json文件数据发送给Kafka； 编写消费者程序，读取Kafka的json文件数据，并手动提交偏移量。 编写生产者程序，以通用唯一标识符UUID作为消息，发送给主题assign_topic； 编写消费者程序1，订阅主题的分区0，只消费分区0数据； 编写消费者程序2，订阅主题的分区1，只消费分区1数据；

项目需求：将kafka解析来的日志获取到数据库的变更记录，按照订单的级别和订单明细级别写入数据库，一条订单的所有信息包括各种维度信息均保存在一条json中，写入mysql5.7中。 配置信息： [Global] kafka_server=xxxxxxxxxxx:9092 kafka_topic=mes consumer_group=test100 passwd = tracking port = 3306 host = xxxxxxxxxx user = track schema = track dd_socket = dd_host = xxxxxxxxxxxx dd_port = 330

confluent kafka 这个库使用不复杂，前期没有选择这个开发库的主要原因，是它的依赖比较多，前期一直跑不起来，在经过多方找寻后，终于跑通 了，开发库已经上传，大家可以在这个地址下载。除了依赖库，还提供了监测工具，以及一份说明文档，整个demo跑起来的必备一些软件包等。demo使用confluent kafka版本0.11.4