一、实验目的 （1）通过实验掌握 Spark SQL 的基本编程方法； （2）熟悉 RDD 到 DataFrame 的转化方法； （3）熟悉利用 Spark SQL 管理来自不同数据源的数据。 （4）java程序实现SparkSQL 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）SparkSQL的基本知识 （1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 （5）访问http://localhost:4040可以看到spark web界面 （6）进入/spark/examples/src/main/resources目录，查看该目录下的内容 （7）查看people.json和employees.json的内容 （8）读取people.json、employees.json，创建DataFrame

一、实验目的 1.理解Spark Streaming的工作流程。 2.理解Spark Streaming的工作原理。 3.学会使用Spark Streaming处理流式数据。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）Spark Streaming处理套接字流 1：编写处理套接字流的java程序代码 2：导入缺失的jar包 3：把java程序导出为jar包 4：start-all.sh，启动所有进程，并查看情况 5：启动Spark分布式集群并查看信息 6：启动9999端口 7：切换到jar包所在路径 8：提交程序到spark集群上运行 9：监测端口内容，每隔10秒钟输出一次，当有内容出现的时候，单词计数输出内容 10：退出监测，Ctrl+Z，但是这样并没有完全退出监测，到http://localhost:8080/里杀死该任务，也可以使用Ctrl+C完全退出 （二）Spark Streaming处理RDD队列流 （三）Spark Streaming处理文件流

一、实验目的 1． 理解Spark编程思想； 2． 学会在Spark Shell中编写Scala程序； 3． 学会在Spark Shell中运行Scala程序。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）Spark基础知识 （1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 1：local模式启动 2：登录master服务器，在集群模式下启动 （5）访问http://localhost:4040可以看到spark web界面 （6）从本地文件系统中加载数据 （7）从分布式文件系统HDFS中加载数据 （8）可以调用SparkContext的parallelize方法，在Driver中一个已经存在的数组上创建RDD。 （9）可以调用SparkContext的parallelize方法，在Drive （二）spark运行wordcount程序

使用hyper-v虚拟机进行Hadoop集群环境搭建，和Linux基础加强，shell脚本

一、实验目的 Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作，为顺利开展后续其他实验奠定基础。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1：Linus常见命令： （1）创建目录：mkdir 文件夹名 （2）建多层次目录：mkdir -p 文件夹名/文件夹名/文件夹名 （3）同层次建多个文件夹：mkdir 文件夹名/文件夹名 文件夹名/文件夹名 文件夹名/文件夹名 （4）切换目录：cd 文件夹名 （5）显示当前目录路径：pwd （6）显示当前目录下的文件或目录：ls （7）创建空文件：touch 文件夹名 （8）编辑文件内容：vi 文件名 （9）容许编辑文件内容：i （10）保存并退出：:wq （11）查看文件内容：cat 文件名 （12）删除文件：rm 文件名字 （13）返回上一层目录：cd.. （14）返回根目录：cd （15）删除文件夹：rm -rf 文件夹名 （16）显示文件系统使用情况：du

本文档深刻解析了hadoop集群搭建的过程，有自己编写的过程，有完整的搭建过程。

Hadoop按日期统计访问次数代码实现，以及包含测试用的数据

图文并茂，通俗易懂，是入门spark的首选材料图文并茂，通俗易懂，是入门spark的首选材料图文并茂，通俗易懂，是入门spark的首选材料

数据包括运行代码和数据类型，启动hive导入表和数据就可以运行结果

spark数据处理和数据分析项目实战Dataframe风格里面包括数据和代码，启动idea就可以练习