RDD简介 RDD创建方式 RDD的处理过程 转换算子 行动算子 RDD（Resilient Distributed Datasets弹性分布式数据集）是一个容错的、并行的数据结构，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。 RDD可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。每个RDD都具有五大特征，具体如下。 它是集群节点上的不可改变的、已分区的集合对象； 通过并行转换的方式来创建如（map、filter、join等）； 失败自动重建（不是从开始点重建，可以从上一步重建）； 可以控制存储级别（内存、磁盘等）来进行重用； 必须是可序列化的；在内存不足时可自动降级为磁盘存储，把RDD存储于磁盘上，这时性能有大的下降但不会差于现在的MapReduce； 对于丢失部分数据分区只需要根据它的lineage就可重新计算出来，而不需要做特定的checkpoint；

本帖最后由 王尼玛 于 2022-1-17 07:48 编辑 -支持MINI2 提示：谷歌地图不能用请切换到 Mapbox 大疆终于开放了MINI2的 SDK，第三方软件也支持了！ 和官方的APP有什么不同？ 官方app内的mini2是不支持航点、跟随、等功能，在荔枝软件内都支持这些功能。 有了航点功能我们可以自由规划路线拍摄，比如延时摄影：定向延时、环绕延时、等等都能实现。

Spark笔记，发出来希望可以帮到各位

开关电源仿真软件，仿真时能看到电流的流动和电子元件的工作状态。

实验三 RDD编程初级实践 1 实验目的 （1）熟悉Spark的RDD基本操作及键值对操作 （2）熟悉使用RDD编程解决实际具体问题的方法 2 实验平台 Ubantu16.04、Spark-2.1.0 3 实验要求 （1）掌握连接操作 （2）掌握spark-shell交互式编程 （3）编写独立应用程序实现数据去重 （4）编写独立用用程序实现求平均值问题 4 实验内容和步骤（操作结果要附图） 一、连接操作 二、Spark-shell交互编程 三、数据去重 四、求平均值 5 实验总结 通过本次实验，我了解了如何使用RDD编程解决实际问题，并熟悉RDD的基本操作以及键值对操作和用法。注意在求平均值问题中，要注意avg.scala

实验二 Scala编程初级实践 1 实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构 2.掌握面向对象编程的基础知识，能够编写自定义类和特质 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉Scala的容器类库的基本层次结构，熟练使用常用的容器类进行数据 4.熟练掌握 Scala的REPL运行模式和编译运行方法 2 实验平台 Scala 环境 3 实验要求 1. 计算级数 2. 统计学生成绩 4 实验内容和步骤（操作结果要附图） 一、计算级数 1.脚本方式编程 2.RELP模式运行 二、统计学生成绩 5 实验总结 通过本次实验，我了解了如何使用Scala编程实验，可以在REPL模式下编译运行代码，在命

实验四 Spark SQL编程初级实践 1 实验目的 （1）通过实验掌握Spark SQL的基本编程方法 （2）熟悉RDD到DataFrame的转化方法 （3）熟悉利用Spark SQL管理来自不同数据源的数据 2 实验平台 操作系统：Ubuntu16.04 Spark：2.4.0 数据库：MySQL 3 实验要求 1.Spark SQL基本操作 2.编程实现将RDD转换为DataFrame 3.编程实现利用DataFrame读写MySQL的数据 4 实验内容和步骤（操作结果要附图） 一、Spark SQL基本操作 二、编程实现将RDD转换为DataFrame 三、编程实现利用DataFrame读写MySQL的数据 5 实验总结 通过本次实验我了解了Spark SQL的基本编程方法，RDD转换成DataFrame有两种方式，一种是利用反

实验一 Spark和Hadoop的安装 1 实验目的 1.掌握Spark和Hadoop的安装 2.掌握spark-shell命令 3.了解编写Spark应用程序代码 4.掌握Maven对Scala程序的编译 2 实验平台 Hadoop-2.7.1、Spark-2.1.0 3 实验要求 1.安装Hadoop和Spark 2.掌握Maven对Scala程序的编译 4 实验内容和步骤（操作结果要附图） 一、安装Hadoop和Spark 二、Maven对Scala程序编译 5 实验总结 通过本次试验，我了解了如何安装Hadoop和Spark、Maven，并为Hadoop和Spar

实验五 Spark Streaming编程初级实践 1 实验目的 （1）实现文件流输入 （2）实现RDD队列流输入 （3）实现套接字流输入到mysql （4）实现kafka和Flume的安装以及将结果写入MySQL 2 实验平台 操作系统：Ubuntu16.04 数据库：MySQL Spark：2.4.0 Kafka：2.11 Flume：1.7.0 3 实验要求 1.文件流输入 2.RDD队列流输入 3.套接字流输入 4.kafka和Flume将结果写入MySQL 4 实验内容和步骤（操作结果要附图） 一、文件流输入 二、RDD队列流输入 三、套接字流 四、kafka和Flume将结果写入MySQL 5 实验总结

如何在win上边运行scala程序以及在Linux上部署运行spark,如何在hdfs系统上运行scala程序.