Hadoop集群部署及测试实验（一）.docx

### Hadoop集群部署及测试实验知识点详述 #### 一、实验目的与要求 本实验旨在让学生通过实际操作，深入了解并掌握Hadoop集群的基本安装、配置及简单的测试过程。具体目标包括： 1. **理解虚拟机环境搭建**： - 掌握在虚拟机上安装CentOS操作系统的方法。 - 学会使用常见的Linux发行版，如Ubuntu、CentOS、Red Hat和SUSE Linux等。 2. **熟悉Linux基础操作**： - 掌握基本的Linux命令行操作。 - 理解Linux系统的文件结构。 3. **JDK安装与配置**： - 在Linux系统上安装JDK并正确配置环境变量。 - 了解如何验证JDK安装是否成功。 4. **SSH远程免密登录设置**： - 掌握SSH服务的安装与配置。 - 实现主机之间的免密登录。 5. **Hadoop集群安装与配置**： - 下载并安装Hadoop软件。 - 配置Hadoop的核心文件（`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`）。 - 启动并测试Hadoop集群。 #### 二、实验条件 - **硬件配置**： - CPU: I3 - 内存: 8GB - 硬盘: 256GB - **操作系统**： - Windows 7/8/10 - **软件工具**： - VMware Workstation（用于虚拟机环境搭建） - CentOS-7-x86_64-DVD-1810.iso（操作系统镜像文件） - SecureCRT（用于SSH连接） - **系统架构图**： - Hadoop01（Master） - Hadoop02（Slave） - Hadoop03（Slave） - 虚拟交换机采用NAT模式，确保与外网连通。 #### 三、实验步骤详解 1. **下载所需文件**： - 下载CentOS安装镜像和SecureCRT等软件。 2. **创建虚拟机目录**： - 使用英文命名虚拟机文件夹，便于后续管理和识别。 3. **创建并配置虚拟机**： - 打开VMware Workstation，创建新虚拟机。 - 引导ISO文件安装CentOS系统。 - 根据个人电脑配置合理分配虚拟机资源。 4. **安装操作系统**： - 启动虚拟机，选择GNOME桌面安装（可选）。 - 设置账号密码和创建用户。 5. **启动虚拟机**： - 迷你版或桌面版均可根据需求进行选择。 6. **Hadoop运行环境搭建**： - 测试虚拟机联网情况。 - 安装必要的工具包，如epel-release和net-tools。 - 关闭防火墙。 7. **JDK安装与配置**： - 下载JDK安装包。 - 使用SecureCRT的SFTP功能上传文件至虚拟机。 - 在 `/export/servers/` 目录下解压并安装JDK。 - 编辑 `/etc/profile` 文件，配置JDK环境变量。 - 通过 `source /etc/profile` 命令使配置生效。 - 验证JDK安装是否成功。 8. **Hadoop安装**： - 下载Hadoop2.7安装包。 - 解压到 `/export/servers/` 目录下。 - 编辑 `/etc/profile` 文件，配置Hadoop环境变量。 - 通过 `source /etc/profile` 命令使配置生效。 - 使用 `hadoop version` 命令验证Hadoop安装是否成功。 9. **配置Hadoop核心文件**： - 修改 `hadoop-env.sh` 文件，指定JDK路径。 - 配置 `core-site.xml` 文件，设置HDFS的默认FS。 - 配置 `hdfs-site.xml` 文件，定义数据块副本数量。 - 配置 `mapred-site.xml` 和 `yarn-site.xml` 文件，设定MapReduce和YARN的相关参数。 - 更新 `slaves` 文件，添加所有集群节点的主机名。 通过上述步骤，可以完成Hadoop集群的搭建与初步测试，为进一步的学习和开发打下坚实的基础。此外，这些步骤也涵盖了Hadoop集群部署的关键知识点，对于初学者来说是非常有价值的实践指南。