使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。

hadoop权威指南第四版中英文pdf及源码，内容以Hadoop2.x为主，包含一些hadoop的stable版本的新特性，与以前版本比较增加了介绍YARN , Parquet , Flume, Crunch , Spark的章节。适合于Hadoop 初学者。

在搭建完hadoop大数据系统（CDH5.16.1）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目 使用java api接口进行文件了。为此，特别进行了hdfs文件系统java api访问的整理。

主要是因为hadoop的cdh5官网收费，项目下载不了了，上传我下载的到csdn方便各位下载

亲测有效，替换hadoop得bin目录下得所有资源包，把dll包加入到system32里面即可使用。

调用保存文件的算子，需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置：os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe，并放入Hadoop解压文件夹的bin目录内 hadoop.dll，并放入:C:/Windows/System32 文件夹内 如果配置出现问题，可以参考： https://blog.csdn.net/ljqhello2008/article/details/130418888

完成详细的阐述了hadoop在centOs7中的搭建过程。

java 8 64位，hadoop2.7.4 eclipse-jee-oxygen-R-win32-x86_64，win10 自己测试成功

大主题：背景、YARN框架、YARN工作流程、对比分析、YARN的功能；此为思维导图由本人自己通过学习总结的，其中有参考林子雨教授的《大数据技术原理与应用》、湖南科技职业学院人工智能大数据教研组《分布式系统hadoop》。适用于新手入门大数据（没有c币可以私聊哦）。

在线教育平台现在是教育体系的重要组成部分，在当前大数据时代的背景下，促进教育机构建立统一平台、统一资源管理的数字化教学系统。如何评估系统平台的健康程度、学生的学习体验和在线课程的质量对于课程的教师和学校的管理人员都是非常重要的，这是进行数据分析的主要目的。可视化是一个重要的途径，它能够帮助大数据获得完整的数据图表并挖掘数据的价值，大数据分析离不开可视化这一工具的推动。 基于hadoop和echarts的教育大数据可视化系统，以B/S模式开发。通过Hadoop中Sqoop进行数据导入转换。以MapReduce构建数据分析，数据分析维度包括每日登录人数分析、平均学习时长分析、学习行为次数分析、每日活跃情况分析和分时段学习人数分析。最终使用ECharts可视化工具来对在线教育平台在学习过程中产生的数据进行可视化大屏展现,让更多人感受到可视化大数据的魅力。