第一章 Hortonworks安装
第二章 在Eclipse中运行Hadoop平台的WordCount程序
第三章 在Eclipse中运行Spark平台的WordCount程序
2022-04-19 17:23:39
2.01MB
1
Hadoop环境安装设置(最简单的hadoop单机环境部署教程)
安装前设置
SSH设置和密钥生成
安装Java.下载Java (JDK<最新版> - X64 ...
下载Hadoop.下载来自Apache基金会软件，使用下面 ...
Hadoop操作模式
在单机模式下安装Hadoop....
模拟分布式模式安装Hadoop
验证Hadoop安装
2022-04-19 13:08:08
623KB
1
部署全分布模式Hadoop集群 实验报告一、实验目的
1. 熟练掌握 Linux 基本命令。
2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。
3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。
4. 理解为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置。
5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。
二、实验环境
本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK
安装包、Hadoop 安装包。
三、实验内容
1. 规划部署。
2. 准备机器。
3. 准备软件环境：配置静态 IP；修改主机名；编辑域名映射；安装和配置 Java；安装和
配置 SSH 免密登录。
4. 获取和安装 Hadoop。
5. 配置全分布模式 Hadoop 集群。
6. 关闭防火墙。
7. 格式化文件系统。
8. 启动和验证 Hadoop。
9. 关闭 Hadoop。
2022-04-18 17:00:39
762KB
1
一、实验目的
1. 理解 HDFS 体系架构。
2. 理解 HDFS 文件存储原理和数据读写过程。
3. 熟练掌握 HDFS Web UI 界面的使用。
4. 熟练掌握 HDFS Shell 常用命令的使用。
5. 熟练掌握 HDFS 项目开发环境的搭建。
6. 掌握使用 HDFS Java API 编写 HDFS 文件操作程序。
二、实验环境
本实验所需的软件环境包括全分布模式 Hadoop 集群、Eclipse。
三、实验内容
1. 启 动 全 分 布 模 式 Hadoop 集 群 ， 守护进程 包 括 NameNode 、 DataNode 、
SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。
2. 查看 HDFS Web 界面。
3. 练习 HDFS Shell 文件系统命令和系统管理命令。
4. 在 Hadoop 集群主节点上搭建 HDFS 开发环境 Eclipse。
5. 使用 HDFS Java API 编写 HDFS 文件操作程序，实现上传本地文件到 HDFS 的功能。。。。。
2022-04-18 17:00:39
1.07MB
1