一种基于Kafka/Hadoop/Hive平台的大规模智慧路灯的数据采集与处理系统，何沙，肖波，随着信息科技的飞速发展，智慧路灯出现在了人们视野中。区别于普通路灯，智慧路灯集成了很多智能模块。这些模块实时地向服务器上

使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。

hadoop权威指南第四版中英文pdf及源码，内容以Hadoop2.x为主，包含一些hadoop的stable版本的新特性，与以前版本比较增加了介绍YARN , Parquet , Flume, Crunch , Spark的章节。适合于Hadoop 初学者。

在搭建完hadoop大数据系统（CDH5.16.1）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目 使用java api接口进行文件了。为此，特别进行了hdfs文件系统java api访问的整理。

主要是因为hadoop的cdh5官网收费，项目下载不了了，上传我下载的到csdn方便各位下载

亲测有效，替换hadoop得bin目录下得所有资源包，把dll包加入到system32里面即可使用。

调用保存文件的算子，需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置：os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe，并放入Hadoop解压文件夹的bin目录内 hadoop.dll，并放入:C:/Windows/System32 文件夹内 如果配置出现问题，可以参考： https://blog.csdn.net/ljqhello2008/article/details/130418888

完成详细的阐述了hadoop在centOs7中的搭建过程。

java 8 64位，hadoop2.7.4 eclipse-jee-oxygen-R-win32-x86_64，win10 自己测试成功

大主题：背景、YARN框架、YARN工作流程、对比分析、YARN的功能；此为思维导图由本人自己通过学习总结的，其中有参考林子雨教授的《大数据技术原理与应用》、湖南科技职业学院人工智能大数据教研组《分布式系统hadoop》。适用于新手入门大数据（没有c币可以私聊哦）。