Spark环境搭建-Local 单机版、Spark环境搭建-Standalone

学校的课程PPT以及自制的思维导图

图解大数据 | 使用 Spark 分析挖掘音乐专辑数据 @综合案例

分享课程——Spark+ClickHouse实战企业级数据仓库，进军大厂必备，Spark3.2+ClickHouse22.3，完整版视频课程下载。 本课程结合ClickHouse+Spark 这一对数据处理的“黄金搭档”，选取“大数据量企业数据仓库“这一典型场景，实战大数据量下数仓的建模、设计与调优等实用技巧，快速掌握ClickHouse+Spark核心技能，为晋级大数据架构师铺路！

RDD简介 RDD创建方式 RDD的处理过程 转换算子 行动算子 RDD（Resilient Distributed Datasets弹性分布式数据集）是一个容错的、并行的数据结构，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。 RDD可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。每个RDD都具有五大特征，具体如下。 它是集群节点上的不可改变的、已分区的集合对象； 通过并行转换的方式来创建如（map、filter、join等）； 失败自动重建（不是从开始点重建，可以从上一步重建）； 可以控制存储级别（内存、磁盘等）来进行重用； 必须是可序列化的；在内存不足时可自动降级为磁盘存储，把RDD存储于磁盘上，这时性能有大的下降但不会差于现在的MapReduce； 对于丢失部分数据分区只需要根据它的lineage就可重新计算出来，而不需要做特定的checkpoint；

本帖最后由 王尼玛 于 2022-1-17 07:48 编辑 -支持MINI2 提示：谷歌地图不能用请切换到 Mapbox 大疆终于开放了MINI2的 SDK，第三方软件也支持了！ 和官方的APP有什么不同？ 官方app内的mini2是不支持航点、跟随、等功能，在荔枝软件内都支持这些功能。 有了航点功能我们可以自由规划路线拍摄，比如延时摄影：定向延时、环绕延时、等等都能实现。

Apache Doris 技术调研，建议配合我的同名博客来一同研究学习。

Spark笔记，发出来希望可以帮到各位

开关电源仿真软件，仿真时能看到电流的流动和电子元件的工作状态。

实验三 RDD编程初级实践 1 实验目的 （1）熟悉Spark的RDD基本操作及键值对操作 （2）熟悉使用RDD编程解决实际具体问题的方法 2 实验平台 Ubantu16.04、Spark-2.1.0 3 实验要求 （1）掌握连接操作 （2）掌握spark-shell交互式编程 （3）编写独立应用程序实现数据去重 （4）编写独立用用程序实现求平均值问题 4 实验内容和步骤（操作结果要附图） 一、连接操作 二、Spark-shell交互编程 三、数据去重 四、求平均值 5 实验总结 通过本次实验，我了解了如何使用RDD编程解决实际问题，并熟悉RDD的基本操作以及键值对操作和用法。注意在求平均值问题中，要注意avg.scala