在ubuntu中搭建大数据环境，包括java, hadoop, hbase, spark, miniconda, jupyter等，环境中的环境变量保存在bigdata.sh中。

解压后将bin目录(包含以下.dll和.exe文件)文件替换原来hadoop目录下的bin目录； 将hadoop.dll文件拷贝一份到C:\Windows\System32下，解决window下本地运行mr任务报错问题

第一章 Spark主要有以下(B)个特点 A.3 B.4 C.5 D.6 Spark 的四大组件下面哪个不是 (D ) A.Spark Streaming B. Mlib C Graphx D.Spark R Spark的架构设计分为几个部分（B） A.3 B.4 C.5 D.6 Spark 支持的分布式部署方式中哪个是错误的 (D ) A standalone B spark on mesos C spark on YARN D Spark on local Stage 的 Task 的数量由什么决定 (A ) A Partition B Job C Stage D TaskScheduler Task 运行在下来哪里个选项中Executor上的工作单元 (C ) A Driver program B. spark master C.worker node D Cluster manager Spark的四大特点有什么（A,B,C,D） A.迅速 B.通用 C.易用 D.支持多种资源管理器 Spark Core包括什么（B,D）

大数据运维技术第2章 Hadoop平台安装课件.pptx

Hadoop配置文件说明;4.1.1 Hadoop环境配置;4.1.2 Hadoop守护进程环境配置;4.1.3 Hadoop配置参数格式;4.1.3 Hadoop配置参数格式;4.1.4 获得Hadoop集群全部配置信息;4.2 在Master节点上安装Hadoop;（1）解压缩hadoop-2.7.1.tar.gz安装包到/usr目录下 [root@master ~]# tar zxvf hadoop-2.7.1.tar.gz -C /usr/local/src/? （2）将hadoop-2.7.1文件夹重命名为hadoop [root@master ~]# mv /usr/local/src?/hadoop-2.7.1 /usr/local/src/hadoop （3）配置Hadoop环境变量 [root@master ~]# cd [root@master ~]# vi /etc/profile #在文件末尾添加以下配置信息 # set hadoop environment export HADOOP_HOME=/usr/local/src/hadoop export PATH

1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、能学到啥：大数据集群及相关组件搭建的详细步骤，了解大数据各组件的用途，深入认识各大数据组件工作原理及优化方案。 4、阅读建议：使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。 5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。

Hadoop运行状态;;5.1 Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;5.2 配置Hadoop格式化;;5.3 查看JAVA进程;查看JAVA进程;查看JAVA进程;查看JAVA进程;5.4 查看HDFS的报告;查看HDFS报告;查看HDFS报告;5.5 使用浏览器查看节点状态 ;在浏览器的地址栏输入:50070，进入页面可以查看NameNode和DataNode信息，如图;在浏览器的地址栏输入:50090，进入页面可以查看SecondaryNameNode信息，如图;下面运行WordCount官方案例，统计data.txt文件中单词的出现频度。这个案例可以用来统计年度十大热销产品、年度风云人物、年度最热名词等。 （1）在HDFS文件系统中创建数据输入目录 确保dfs和yarn都启动成功 [hadoop@master hadoop]$ start-yarn.sh [hadoop@master hadoop]$ jps 34257 NameNode 34449 SecondaryNameNode 34494 Jp

针对目前缺少大型数据分析框架间的横向比较问题,使用有代表性的大数据工作负载,对Hadoop、Spark和Flink进行性能和可扩展性等因素的比较评价。此外,通过调整工作负载的一些主要参数,例如HDFS块大小、输入数据大小、互连网络或线程配置等,描述了这些框架的行为模式特征。实验结果分析表明,对于非排序的基准测试程序,使用Spark或Flink替代Hadoop,分别带来平均77%和70%执行时间的降低。整体上,Spark的性能结果最好;而Flink通过使用的显式迭代程序,极大提高了迭代算法的性能。

简单的spark加载HIVE MYSQL 数据，以及简单的进行往mysql,hive写入数据

Linux 按照步骤完成命令行方式下Hadoop MR程序的编辑，编译，运行过程。 1）编辑java文件 可以采用任意的文本工具编辑Java代码 2）编译javac （1）设置CLASSPATH （2）编译java文件 （3）打jar包 4）执行 bin/hadoop jar xxx.jar packagename.classname input output