实验三 RDD编程初级实践 1 实验目的 （1）熟悉Spark的RDD基本操作及键值对操作 （2）熟悉使用RDD编程解决实际具体问题的方法 2 实验平台 Ubantu16.04、Spark-2.1.0 3 实验要求 （1）掌握连接操作 （2）掌握spark-shell交互式编程 （3）编写独立应用程序实现数据去重 （4）编写独立用用程序实现求平均值问题 4 实验内容和步骤（操作结果要附图） 一、连接操作 二、Spark-shell交互编程 三、数据去重 四、求平均值 5 实验总结 通过本次实验，我了解了如何使用RDD编程解决实际问题，并熟悉RDD的基本操作以及键值对操作和用法。注意在求平均值问题中，要注意avg.scala

实验二 Scala编程初级实践 1 实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构 2.掌握面向对象编程的基础知识，能够编写自定义类和特质 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉Scala的容器类库的基本层次结构，熟练使用常用的容器类进行数据 4.熟练掌握 Scala的REPL运行模式和编译运行方法 2 实验平台 Scala 环境 3 实验要求 1. 计算级数 2. 统计学生成绩 4 实验内容和步骤（操作结果要附图） 一、计算级数 1.脚本方式编程 2.RELP模式运行 二、统计学生成绩 5 实验总结 通过本次实验，我了解了如何使用Scala编程实验，可以在REPL模式下编译运行代码，在命

实验四 Spark SQL编程初级实践 1 实验目的 （1）通过实验掌握Spark SQL的基本编程方法 （2）熟悉RDD到DataFrame的转化方法 （3）熟悉利用Spark SQL管理来自不同数据源的数据 2 实验平台 操作系统：Ubuntu16.04 Spark：2.4.0 数据库：MySQL 3 实验要求 1.Spark SQL基本操作 2.编程实现将RDD转换为DataFrame 3.编程实现利用DataFrame读写MySQL的数据 4 实验内容和步骤（操作结果要附图） 一、Spark SQL基本操作 二、编程实现将RDD转换为DataFrame 三、编程实现利用DataFrame读写MySQL的数据 5 实验总结 通过本次实验我了解了Spark SQL的基本编程方法，RDD转换成DataFrame有两种方式，一种是利用反

实验一 Spark和Hadoop的安装 1 实验目的 1.掌握Spark和Hadoop的安装 2.掌握spark-shell命令 3.了解编写Spark应用程序代码 4.掌握Maven对Scala程序的编译 2 实验平台 Hadoop-2.7.1、Spark-2.1.0 3 实验要求 1.安装Hadoop和Spark 2.掌握Maven对Scala程序的编译 4 实验内容和步骤（操作结果要附图） 一、安装Hadoop和Spark 二、Maven对Scala程序编译 5 实验总结 通过本次试验，我了解了如何安装Hadoop和Spark、Maven，并为Hadoop和Spar

实验五 Spark Streaming编程初级实践 1 实验目的 （1）实现文件流输入 （2）实现RDD队列流输入 （3）实现套接字流输入到mysql （4）实现kafka和Flume的安装以及将结果写入MySQL 2 实验平台 操作系统：Ubuntu16.04 数据库：MySQL Spark：2.4.0 Kafka：2.11 Flume：1.7.0 3 实验要求 1.文件流输入 2.RDD队列流输入 3.套接字流输入 4.kafka和Flume将结果写入MySQL 4 实验内容和步骤（操作结果要附图） 一、文件流输入 二、RDD队列流输入 三、套接字流 四、kafka和Flume将结果写入MySQL 5 实验总结

如何在win上边运行scala程序以及在Linux上部署运行spark,如何在hdfs系统上运行scala程序.

一、 简介 二、 Scala安装 1. 在Windows操作系统中安装Scala 2. 在Linux操作系统中安装Scala 三、Scala 基础部分 3.1 声明值和变量 3.1.1 val变量 3.1.2 var 变量 3.2 级别数据类型和操作 3.2.1 级别数据类型 3.2.2 操作符 3.3 Range 3.4 打印语句 3.5 读写文件 3.5.1 写入文本文件 3.5.2 读取文本文件中的行 四、控制结构 4.1 if条件表达式 4.2 while循环 4.3 for循环 4.3.1 实例 4.3.2 for推导式 五、 数据结构 5.1 数组 5.2 列表(List) 5.3 元组(Tuple) 5.4 集(Set) 5.5 映射(Map) 5.6 迭代器(Iterator) 六、类(Class) 6.1 简单的类 6.2 给类增加字段和方法 6.3 创建对象 6.4 编译和执行 6.5 getter 和setter方法 6.6 辅助构造器 6.7 主构造器 七、对象(Object) 7.1 单例对象 ......

1. 此教程适用于Windows系统； 2. 通过VMware安装Ubuntu-Server-amd64-16.04.7版本，这里使用的VMware Workstation 16 Pro版本； 3.Ubuntu-Server版本可以在文章里面的所给的兰州大学镜像网站前往下载，在里面选择Ubuntu-Server-amd64.iso，下载至除C盘以外的磁盘，磁盘需要有比较充裕的空间，另外，建议将虚拟机也安装在除C盘以外的磁盘。

在Vmware的Centos7中配置Spark的笔记吗，注意版本对照

基于CDH的spark集群搭建，包括了httpd等服务的部署过程