部署全分布模式Hadoop集群 实验报告一、实验目的
1. 熟练掌握 Linux 基本命令。
2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。
3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。
4. 理解为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置。
5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。
二、实验环境
本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK
安装包、Hadoop 安装包。
三、实验内容
1. 规划部署。
2. 准备机器。
3. 准备软件环境：配置静态 IP；修改主机名；编辑域名映射；安装和配置 Java；安装和
配置 SSH 免密登录。
4. 获取和安装 Hadoop。
5. 配置全分布模式 Hadoop 集群。
6. 关闭防火墙。
7. 格式化文件系统。
8. 启动和验证 Hadoop。
9. 关闭 Hadoop。
2022-04-18 17:00:39
762KB
1
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门
2021-11-23 22:37:02
858KB
1