1、实验环境: 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE:Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况: 1. 安装hadoop和spark。 将下载好的安装包解压至固定路径并安装 使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 (1) 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数; 图3 spark统计行数 (2) 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”(
2022-07-15 19:05:43 1.9MB 大数据 spark hadoop
1
hadoop 源代码归档 3
2022-07-15 09:09:34 302.59MB hadoop
1
hadoop源代码归档 1
2022-07-14 19:11:06 793MB hadoop
1
大数据关于元数据介绍的ppt,介绍包含元数据、数据管理、资源目录等介绍,适合大数据培训使用,hadoop开发人员也可以学习了解
2022-07-14 17:19:53 3.84MB 元数据管理 hadoop元数据
1
Hadoop大数据处理技术基础与实践 -PPT课件.7z
2022-07-14 12:05:48 9.01MB 教学资料
Hadoop大数据处理技术基础与实践 -源代码.7z
2022-07-14 12:05:48 83.68MB 教学资料
hadoop源代码归档 2
2022-07-14 09:10:18 624.86MB hadoop
1
Hadoop试题.doc.pdf
2022-07-14 09:03:55 593KB 文档
使用hive,hadoop,spark,datax,python,scala修改添加的配置
2022-07-13 18:10:42 4KB hive hadoop spark
1
包含虚拟机的安装步骤,centos系统安装,网络配置,环境配置,集群配置,详细命令,图文详解。
2022-07-13 18:10:37 5.82MB hadoop hive 虚拟机
1