一、实验目的
（1）通过实验掌握 Spark SQL 的基本编程方法；
（2）熟悉 RDD 到 DataFrame 的转化方法；
（3）熟悉利用 Spark SQL 管理来自不同数据源的数据。
（4）java程序实现SparkSQL
二、实验环境
Windows 10
VMware Workstation Pro虚拟机
Hadoop环境
Jdk1.8
三、实验内容
（一）SparkSQL的基本知识
（1）输入start-all.sh启动hadoop相应进程和相关的端口号
（2）启动Spark分布式集群并查看信息
（3）网页端查看集群信息
（4）启动spark-shell控制台
（5）访问http://localhost:4040可以看到spark web界面
（6）进入/spark/examples/src/main/resources目录，查看该目录下的内容
（7）查看people.json和employees.json的内容
（8）读取people.json、employees.json，创建DataFrame
2022-05-25 12:04:48
10.36MB
一、实验目的
Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作，为顺利开展后续其他实验奠定基础。
二、实验环境
Windows 10
VMware Workstation Pro虚拟机
Hadoop环境
Jdk1.8
三、实验内容
1：Linus常见命令：
（1）创建目录：mkdir 文件夹名
（2）建多层次目录：mkdir -p 文件夹名/文件夹名/文件夹名
（3）同层次建多个文件夹：mkdir 文件夹名/文件夹名 文件夹名/文件夹名 文件夹名/文件夹名
（4）切换目录：cd 文件夹名
（5）显示当前目录路径：pwd
（6）显示当前目录下的文件或目录：ls
（7）创建空文件：touch 文件夹名
（8）编辑文件内容：vi 文件名
（9）容许编辑文件内容：i
（10）保存并退出：:wq
（11）查看文件内容：cat 文件名
（12）删除文件：rm 文件名字
（13）返回上一层目录：cd..
（14）返回根目录：cd
（15）删除文件夹：rm -rf 文件夹名
（16）显示文件系统使用情况：du
2022-05-25 09:07:51
2.01MB
首先根据处理形式的不同,介绍了不同形式数据的特征和各自的典型应用场景以及相应的代表性处理系 统,总结了大数据处理系统的三大发展趋势;随后,对系统支撑下的大数据分析技术和应用(包括深度学习、知识计 算、社会计算与可视化等)进行了简要综述,总结了各种技术在大数据分析理解过程中的关键作用;最后梳理了大数 据处理和分析面临的数据复杂性、计算复杂性和系统复杂性挑战,并逐一提出了可能的应对之策.
2022-05-24 23:35:51
265KB
1