上传者: 60530224
|
上传时间: 2024-07-03 14:25:05
|
文件大小: 2.36MB
|
文件类型: DOC
实验2 熟悉常用的HDFS操作
一、实验目的
1. 理解HDFS在Hadoop体系结构中的角色;
2. 熟练使用HDFS操作常用的Shell命令;
3. 熟悉HDFS操作常用的Java API。
二、实验平台
1. 操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04);
2. Hadoop版本:3.1.3;
3. JDK版本:1.8;
4. Java IDE:Eclipse。
三、实验步骤(每个步骤下均需有运行截图)
(一)编程实现以下功能,并利用Hadoop提供的Shell命令完成相同任务:
(1) 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件;(2) 从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;(3) 将HDFS中指定文件的内容输出到终端中;(4) 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;