分享课程——《Spark+ClickHouse实战企业级数据仓库，进军大厂必备》，2022最新课程，课程基于Spark3.2+ClickHouse22.3+Hadoop3.3版本！ 本课程结合ClickHouse+Spark 这一对数据处理的“黄金搭档”，选取“大数据量企业数据仓库“这一典型场景，实战大数据量下数仓的建模、设计与调优等实用技巧，快速掌握ClickHouse+Spark核心技能，为晋级大数据架构师铺路！ 课程结合热门技术，实战企业级数仓项目，轻松掌握高薪数据工程师必备技能；课程通过更贴近生产实践的案例，掌握多种实用方案，满足复杂业务需求。遵照数仓分层模型，实战数据处理的各个环节，构建实用技术体系

SparkSQL是apache Spark用来处理结构化数据的一个模块，SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。这个资料包，包含了sparkSQL底层实现原理+sparkSQL调优两个部分。还提供了代码实例。 SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 SparkSQL作为Spark生态的一员，而不再受限于Hive，只是兼容Hive；而Hive on Spark是一个Hive的发展计划，该计划将Spark作为Hive的底层引擎之一，也就是说，Hive将不再受限于一个引擎，可以采用Map-Reduce、Tez、Spark等引擎。 对于开发人员来讲，SparkSQL可以简化RDD的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是SparkSQL。Spark SQL为了简化RDD的开发，提高开发效率，提供了2个编程抽象，类似Spark Core中的RDD，即DataFrame和DataSet。

Spark环境搭建-Local 单机版、Spark环境搭建-Standalone

学校的课程PPT以及自制的思维导图

图解大数据 | 使用 Spark 分析挖掘音乐专辑数据 @综合案例

分享课程——Spark+ClickHouse实战企业级数据仓库，进军大厂必备，Spark3.2+ClickHouse22.3，完整版视频课程下载。 本课程结合ClickHouse+Spark 这一对数据处理的“黄金搭档”，选取“大数据量企业数据仓库“这一典型场景，实战大数据量下数仓的建模、设计与调优等实用技巧，快速掌握ClickHouse+Spark核心技能，为晋级大数据架构师铺路！

RDD简介 RDD创建方式 RDD的处理过程 转换算子 行动算子 RDD（Resilient Distributed Datasets弹性分布式数据集）是一个容错的、并行的数据结构，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。 RDD可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。每个RDD都具有五大特征，具体如下。 它是集群节点上的不可改变的、已分区的集合对象； 通过并行转换的方式来创建如（map、filter、join等）； 失败自动重建（不是从开始点重建，可以从上一步重建）； 可以控制存储级别（内存、磁盘等）来进行重用； 必须是可序列化的；在内存不足时可自动降级为磁盘存储，把RDD存储于磁盘上，这时性能有大的下降但不会差于现在的MapReduce； 对于丢失部分数据分区只需要根据它的lineage就可重新计算出来，而不需要做特定的checkpoint；

本帖最后由 王尼玛 于 2022-1-17 07:48 编辑 -支持MINI2 提示：谷歌地图不能用请切换到 Mapbox 大疆终于开放了MINI2的 SDK，第三方软件也支持了！ 和官方的APP有什么不同？ 官方app内的mini2是不支持航点、跟随、等功能，在荔枝软件内都支持这些功能。 有了航点功能我们可以自由规划路线拍摄，比如延时摄影：定向延时、环绕延时、等等都能实现。

Spark笔记，发出来希望可以帮到各位

开关电源仿真软件，仿真时能看到电流的流动和电子元件的工作状态。