1、实验环境: 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE:Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况: 1. 安装hadoop和spark。 将下载好的安装包解压至固定路径并安装 使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 (1) 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数; 图3 spark统计行数 (2) 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”(
2022-07-15 19:05:43 1.9MB 大数据 spark hadoop
1
数字乡村大数据可视化平台建设方案 智慧乡村 美丽乡村 智慧农村
2022-07-15 12:24:55 18.22MB 文档资料 big data 大数据
1
食品药品监管大数据平台解决方案.pdf
2022-07-15 09:08:51 5.92MB 智慧
1-大数据时代下位置智能的想象空间.pdf
2022-07-15 09:08:33 8.38MB 智慧
空间大数据服务平台解决方案.pdf
2022-07-15 09:01:07 9.23MB 智慧
大数据十大经典算法AdaBoost-讲解.ppt
2022-07-14 19:11:25 367KB 大数据十大经典算法
大数据十大经典算法Apriori.ppt
2022-07-14 19:11:25 1.34MB 大数据十大经典算法
大数据十大经典算法c4.5讲解.ppt
2022-07-14 19:11:24 348KB 大数据十大经典算法
大数据十大经典算法CART-讲解.ppt
2022-07-14 19:11:23 868KB 大数据十大经典算法
大数据十大经典算法kmeans.ppt
2022-07-14 19:11:22 4.57MB 大数据十大经典算法