分享课程——《Spark+ClickHouse实战企业级数据仓库，进军大厂必备》，2022最新课程，课程基于Spark3.2+ClickHouse22.3+Hadoop3.3版本！
本课程结合ClickHouse+Spark 这一对数据处理的“黄金搭档”，选取“大数据量企业数据仓库“这一典型场景，实战大数据量下数仓的建模、设计与调优等实用技巧，快速掌握ClickHouse+Spark核心技能，为晋级大数据架构师铺路！
课程结合热门技术，实战企业级数仓项目，轻松掌握高薪数据工程师必备技能；课程通过更贴近生产实践的案例，掌握多种实用方案，满足复杂业务需求。遵照数仓分层模型，实战数据处理的各个环节，构建实用技术体系
2022-10-08 14:05:46
789B
1
SparkSQL是apache Spark用来处理结构化数据的一个模块，SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。这个资料包，包含了sparkSQL底层实现原理+sparkSQL调优两个部分。还提供了代码实例。
SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。
SparkSQL作为Spark生态的一员，而不再受限于Hive，只是兼容Hive；而Hive on Spark是一个Hive的发展计划，该计划将Spark作为Hive的底层引擎之一，也就是说，Hive将不再受限于一个引擎，可以采用Map-Reduce、Tez、Spark等引擎。
对于开发人员来讲，SparkSQL可以简化RDD的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是SparkSQL。Spark SQL为了简化RDD的开发，提高开发效率，提供了2个编程抽象，类似Spark Core中的RDD，即DataFrame和DataSet。
2022-10-08 14:05:45
29.17MB
1
Spark环境搭建-Local 单机版、Spark环境搭建-Standalone
2022-10-08 14:05:44
3KB
1
分享课程——Spark+ClickHouse实战企业级数据仓库，进军大厂必备，Spark3.2+ClickHouse22.3，完整版视频课程下载。
本课程结合ClickHouse+Spark 这一对数据处理的“黄金搭档”，选取“大数据量企业数据仓库“这一典型场景，实战大数据量下数仓的建模、设计与调优等实用技巧，快速掌握ClickHouse+Spark核心技能，为晋级大数据架构师铺路！
2022-09-30 19:05:51
557B
1
RDD简介
RDD创建方式
RDD的处理过程
转换算子
行动算子
RDD（Resilient Distributed Datasets弹性分布式数据集）是一个容错的、并行的数据结构，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。
RDD可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。每个RDD都具有五大特征，具体如下。
它是集群节点上的不可改变的、已分区的集合对象；
通过并行转换的方式来创建如（map、filter、join等）；
失败自动重建（不是从开始点重建，可以从上一步重建）；
可以控制存储级别（内存、磁盘等）来进行重用；
必须是可序列化的；在内存不足时可自动降级为磁盘存储，把RDD存储于磁盘上，这时性能有大的下降但不会差于现在的MapReduce；
对于丢失部分数据分区只需要根据它的lineage就可重新计算出来，而不需要做特定的checkpoint；
2022-09-28 19:05:40
1.19MB
1
实验三 RDD编程初级实践
1 实验目的
（1）熟悉Spark的RDD基本操作及键值对操作
（2）熟悉使用RDD编程解决实际具体问题的方法
2 实验平台
Ubantu16.04、Spark-2.1.0
3 实验要求
（1）掌握连接操作
（2）掌握spark-shell交互式编程
（3）编写独立应用程序实现数据去重
（4）编写独立用用程序实现求平均值问题
4 实验内容和步骤（操作结果要附图）
一、连接操作
二、Spark-shell交互编程
三、数据去重
四、求平均值
5 实验总结
通过本次实验，我了解了如何使用RDD编程解决实际问题，并熟悉RDD的基本操作以及键值对操作和用法。注意在求平均值问题中，要注意avg.scala
2022-09-23 09:06:31
6MB
1
实验二 Scala编程初级实践
1 实验目的
1.掌握 Scala 语言的基本语法、数据结构和控制结构
2.掌握面向对象编程的基础知识，能够编写自定义类和特质
3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉Scala的容器类库的基本层次结构，熟练使用常用的容器类进行数据
4.熟练掌握 Scala的REPL运行模式和编译运行方法
2 实验平台
Scala 环境
3 实验要求
1. 计算级数
2. 统计学生成绩
4 实验内容和步骤（操作结果要附图）
一、计算级数
1.脚本方式编程
2.RELP模式运行
二、统计学生成绩
5 实验总结
通过本次实验，我了解了如何使用Scala编程实验，可以在REPL模式下编译运行代码，在命
2022-09-23 09:06:30
1.55MB
1
实验四 Spark SQL编程初级实践
1 实验目的
（1）通过实验掌握Spark SQL的基本编程方法
（2）熟悉RDD到DataFrame的转化方法
（3）熟悉利用Spark SQL管理来自不同数据源的数据
2 实验平台
操作系统：Ubuntu16.04
Spark：2.4.0
数据库：MySQL
3 实验要求
1.Spark SQL基本操作
2.编程实现将RDD转换为DataFrame
3.编程实现利用DataFrame读写MySQL的数据
4 实验内容和步骤（操作结果要附图）
一、Spark SQL基本操作
二、编程实现将RDD转换为DataFrame
三、编程实现利用DataFrame读写MySQL的数据
5 实验总结
通过本次实验我了解了Spark SQL的基本编程方法，RDD转换成DataFrame有两种方式，一种是利用反
2022-09-23 09:06:29
1.96MB
1