### Hadoop集群部署及测试实验知识点详述
#### 一、实验目的与要求
本实验旨在让学生通过实际操作，深入了解并掌握Hadoop集群的基本安装、配置及简单的测试过程。具体目标包括：
1. **理解虚拟机环境搭建**：
- 掌握在虚拟机上安装CentOS操作系统的方法。
- 学会使用常见的Linux发行版，如Ubuntu、CentOS、Red Hat和SUSE Linux等。
2. **熟悉Linux基础操作**：
- 掌握基本的Linux命令行操作。
- 理解Linux系统的文件结构。
3. **JDK安装与配置**：
- 在Linux系统上安装JDK并正确配置环境变量。
- 了解如何验证JDK安装是否成功。
4. **SSH远程免密登录设置**：
- 掌握SSH服务的安装与配置。
- 实现主机之间的免密登录。
5. **Hadoop集群安装与配置**：
- 下载并安装Hadoop软件。
- 配置Hadoop的核心文件（`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`）。
- 启动并测试Hadoop集群。
#### 二、实验条件
- **硬件配置**：
- CPU: I3
- 内存: 8GB
- 硬盘: 256GB
- **操作系统**：
- Windows 7/8/10
- **软件工具**：
- VMware Workstation（用于虚拟机环境搭建）
- CentOS-7-x86_64-DVD-1810.iso（操作系统镜像文件）
- SecureCRT（用于SSH连接）
- **系统架构图**：
- Hadoop01（Master）
- Hadoop02（Slave）
- Hadoop03（Slave）
- 虚拟交换机采用NAT模式，确保与外网连通。
#### 三、实验步骤详解
1. **下载所需文件**：
- 下载CentOS安装镜像和SecureCRT等软件。
2. **创建虚拟机目录**：
- 使用英文命名虚拟机文件夹，便于后续管理和识别。
3. **创建并配置虚拟机**：
- 打开VMware Workstation，创建新虚拟机。
- 引导ISO文件安装CentOS系统。
- 根据个人电脑配置合理分配虚拟机资源。
4. **安装操作系统**：
- 启动虚拟机，选择GNOME桌面安装（可选）。
- 设置账号密码和创建用户。
5. **启动虚拟机**：
- 迷你版或桌面版均可根据需求进行选择。
6. **Hadoop运行环境搭建**：
- 测试虚拟机联网情况。
- 安装必要的工具包，如epel-release和net-tools。
- 关闭防火墙。
7. **JDK安装与配置**：
- 下载JDK安装包。
- 使用SecureCRT的SFTP功能上传文件至虚拟机。
- 在 `/export/servers/` 目录下解压并安装JDK。
- 编辑 `/etc/profile` 文件，配置JDK环境变量。
- 通过 `source /etc/profile` 命令使配置生效。
- 验证JDK安装是否成功。
8. **Hadoop安装**：
- 下载Hadoop2.7安装包。
- 解压到 `/export/servers/` 目录下。
- 编辑 `/etc/profile` 文件，配置Hadoop环境变量。
- 通过 `source /etc/profile` 命令使配置生效。
- 使用 `hadoop version` 命令验证Hadoop安装是否成功。
9. **配置Hadoop核心文件**：
- 修改 `hadoop-env.sh` 文件，指定JDK路径。
- 配置 `core-site.xml` 文件，设置HDFS的默认FS。
- 配置 `hdfs-site.xml` 文件，定义数据块副本数量。
- 配置 `mapred-site.xml` 和 `yarn-site.xml` 文件，设定MapReduce和YARN的相关参数。
- 更新 `slaves` 文件，添加所有集群节点的主机名。
通过上述步骤，可以完成Hadoop集群的搭建与初步测试，为进一步的学习和开发打下坚实的基础。此外，这些步骤也涵盖了Hadoop集群部署的关键知识点，对于初学者来说是非常有价值的实践指南。
2025-03-26 20:21:47
2.39MB
1
基于Vertx实现的websocket消息服务，支持集群部署。
启动步骤
mvn package
修改default-zookeeper.json自定义zookeeper地址。
修改default-websocket.json自定义websocket服务配置，包括：
serverCode：服务名称
serverHost：服务地址
serverPort：服务端口
remoteHost：心跳服务器地址
remotePort：心跳服务器端口
java -jar Console-WebSocket-1.0-fat.jar -cluster
java -cp Cosole-WebSocket.1.0-fat.jar: io.vertx.core.Launcher run "com.vertx.websocket.server.verticles.StartWebSocketVerticle" -cluster
2024-05-21 14:28:02
75KB
1
用于大规模集群部署，在多台机器上同时执行脚本命令和拷贝数据。十分方便。国内可以下载的是老版本的2.26，现在已经更新到2.29，我提供的从2.26~2.29版本都有，大家可以根据自己的情况下载。
2024-01-18 11:29:53
1.83MB
1