1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。
2、适合人群：大数据运维、大数据相关技术及组件初学者。
3、能学到啥：大数据集群及相关组件搭建的详细步骤，了解大数据各组件的用途，深入认识各大数据组件工作原理及优化方案。
4、阅读建议：使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。
5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。
2022-06-22 13:09:32
5.25MB
Hadoop运行状态;;5.1 Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;5.2 配置Hadoop格式化;;5.3 查看JAVA进程;查看JAVA进程;查看JAVA进程;查看JAVA进程;5.4 查看HDFS的报告;查看HDFS 报告;查看HDFS 报告;5.5 使用浏览器查看节点状态
;在浏览器的地址栏输入:50070，进入页面可以查看NameNode和DataNode信息，如图;在浏览器的地址栏输入:50090，进入页面可以查看SecondaryNameNode信息，如图;下面运行WordCount官方案例，统计data.txt文件中单词的出现频度。这个案例可以用来统计年度十大热销产品、年度风云人物、年度最热名词等。
（1）在HDFS文件系统中创建数据输入目录
确保dfs和yarn都启动成功
[hadoop@master hadoop]$ start-yarn.sh
[hadoop@master hadoop]$ jps
34257 NameNode
34449 SecondaryNameNode
34494 Jp
2022-06-22 11:05:15
1.33MB
针对目前缺少大型数据分析框架间的横向比较问题,使用有代表性的大数据工作负载,对Hadoop、Spark和Flink进行性能和可扩展性等因素的比较评价。此外,通过调整工作负载的一些主要参数,例如HDFS块大小、输入数据大小、互连网络或线程配置等,描述了这些框架的行为模式特征。实验结果分析表明,对于非排序的基准测试程序,使用Spark或Flink替代Hadoop,分别带来平均77%和70%执行时间的降低。整体上,Spark的性能结果最好;而Flink通过使用的显式迭代程序,极大提高了迭代算法的性能。
2022-06-22 10:27:49
2.05MB
1
Linux
按照步骤完成命令行方式下Hadoop MR程序的编辑，编译，运行过程。
1）编辑java文件
可以采用任意的文本工具编辑Java代码
2）编译javac
（1）设置CLASSPATH
（2）编译java文件
（3）打jar包
4）执行
bin/hadoop jar xxx.jar packagename.classname input output
2022-06-22 09:08:11
603KB
Linux，eclipse
要求改写实验4的GetMerge程序，实现将云端多个文件压缩到单个文件下载到本地。
1）采用Gzip压缩方法，本地文件为Merger.gz；
2）云端文件需要超过2个文件。
2022-06-22 09:08:10
573KB
YARN配置、启动与验证
YARN配置、启动与验证
序号
任务名称
任务一
YARN组件参数配置
任务二
MapReduce组件参数配置
任务三
配置SSH无密钥登录（slave1为主节点）
任务四
分发YARN与MapReduce配置文件
任务五
启动YARN集群
任务六
启动历史服务
任务七
验证YARN集群与历史服务
任务一 YARN组件参数配置
编辑 yarn-site.xml 配置文件（yarn参数配置文件）
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
slave1
yarn.log-aggregation-enable
true
2022-06-21 12:05:03
425KB
测试Job
序号
任务名称
任务一
准备MapReduce输入文件
任务二
将输入文件上传到HDFS
任务三
运行MapReduce程序测试Job
任务一 准备MapReduce输入文件
在master主节点，使用 root 用户登录，然后切换为 hadoop用户
[root@master ~]# su – hadoop --从root用户切换为hadoop身份
[hadoop@master ~]$
创建新文件：wc.input 作为 MapReduce输入文件，输入以下内容，然后保存文件
[hadoop@master ~]$ vi wc.input
hadoop mapreduce hive spark
hbase spack storm
sqoop hadoop hive
spark hadoop
查看输入的文件内容
[hadoop@master ~]$ more wc.input
任务二 将输入文件上传到HDFS
在master主节点，使用 root 用户登录，然后切换为 hadoop用户
[root@master ~]# su – hadoop --从root用户切换为hado
2022-06-21 12:04:49
486KB
规划Hadoop大数据平台集群
Hadoop集群的三种模式
单机模式
在单机上运行。
没有分布式文件系统，直接读写本地操作系统。
伪分布模式
在单机上运行。
使用分布式文件系统。
hadoop集群只有一个节点，因此hdfs的块复制将限制为单个副本。
在单个节点上运行NameNode、DataNode、JobTracker、TaskTracker、SeconderyNameNode 这5个进程。
完全分布模式
在多个节点上运行。
使用分布式文件系统。
在不同的节点上运行NameNode、DataNode、JobTracker、TaskTracker、SeconderyNameNode 这5个进程中的某几个。
在一台服务器上使用虚拟机软件虚拟所有的节点，也属于完全分布模式，在一些数据量比较少的公司集群就是这样部署的。
完全分布模式Hadoop大数据平台集群 - 服务器角色规划
Master
（IP：192.168.128.128）
Slave1
（IP：192.168.128.129）
Slave2
（IP：192.168.128.130）
NameNode
SecondaryNameNo
2022-06-21 12:04:49
455KB
Hadoop基础环境配置
基础环境配置
序号
任务名称
任务一
安装集群主节点
任务二
配置集群主机映射表
任务三
关闭防火墙与SELinux
任务四
安装JDK
任务五
安装时间同步服务（chrony）
任务六
克隆或复制集群从节点
任务七
新建Hadoop用户
任务八
配置SSH无密钥登录（master为主节点）
任务一 安装集群主节点
创建一台虚拟机。在虚拟机软件VMWare Workstation中创建一台服务器，作为集群主节点，服务器主要硬件配置：2CPU、2G内存、20G硬盘，网络模式：NAT。
安装CentOS操作系统。在master 主节点服务器上安装CentOS 7操作系统，设置超级用户root的密码，安装完成之后设置主机名为：master。
使用 ip 命令获得master主节点服务器的IP地址、路由、域名服务器等信息。
使用远程终端软件（如：SecureCRT等）远程登录master主节点服务器。
配置好主节点服务器的静态IP地址，如：192.168.128.128。
安装完成之后，在虚拟机软件VMWare Workstation中创建一个快照。
任务二 配置集群
2022-06-21 12:04:48
386KB
“大数据技术原理与应用”课程实验报告
题目：实验六：熟悉Hive的基本操作 姓名：小猪猪 日期：2022/5/15
1、实验环境：
设备名称 LAPTOP-9KJS8HO6
处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz
机带 RAM 16.0 GB (15.8 GB 可用)
主机操作系统 Windows 10 家庭中文版
虚拟机操作系统 ubuntukylin-16.04
Hadoop 版本 3.1.3
JDK 版本 1.8
Java IDE：Eclipse
系统类型 64 位操作系统, 基于 x64 的处理器
笔和触控 没有可用于此显示器的笔或触控输入
2、实验内容与完成情况：
1.创建一个内部表 stocks，字段分隔符为英文逗号，表结构如下所示：
stocks 表结构：
2022-06-21 09:11:30
1.44MB