1、实验环境:
设备名称 LAPTOP-9KJS8HO6
处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz
机带 RAM 16.0 GB (15.8 GB 可用)
主机操作系统 Windows 10 家庭中文版
虚拟机操作系统 ubuntukylin-16.04
Hadoop 版本 3.1.3
JDK 版本 1.8
Java IDE:Eclipse
系统类型 64 位操作系统, 基于 x64 的处理器
笔和触控 没有可用于此显示器的笔或触控输入
2、实验内容与完成情况:
1. 安装hadoop和spark。
将下载好的安装包解压至固定路径并安装
使用命令./bin/spark-shell启动spark
图2启动spark
2. Spark读取文件系统的数据
(1) 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数;
图3 spark统计行数
(2) 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”(
1