文档主要介绍了环境搭建和配置使用
1. 什么是Spark SQL
Spark SQL的一个用途是执行使用基本SQL语法或HiveQL编写的SQL查询。Spark SQL还可以用于从现有的Hive安装中读取数据。有关如何配置此功能的更多信息，请参考Hive表格部分。当从另一种编程语言中运行SQL时，结果将作为DataFrame返回。您还可以使用命令行或jdbc/odbc来与SQL接口进行交互。
2. 什么是DataFrame
一个以命名列组织的分布式数据集。概念上相当于关系数据库中一张表或在R / Python中的data frame数据结构,但DataFrame有丰富的优化。在Spark 1.3之前，核心的新类型为RDD-schemaRDD,现改为DataFrame。spark 通过DataFrame操作大量的数据源，包括外部文件（如 json、avro、parquet、sequencefile 等等）、Hive、关系数据库、cassandra等
2021-11-11 16:08:14
908KB
1
手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。
课程简介
知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例，全面讲解并突出重点，让学习也变成一种快乐。
课程亮点
1，知识体系完备，阶段学习者都能学有所获。
2，综合各种方式演示代码、分析逻辑，生动形象，化繁为简，讲解通俗易懂。
3，结合工作实践及分析应用，培养解决实际问题的能力。
4，使用综合案例来加强重点知识，用切实的应用场景提升编程能力，充分巩固各个知识点的应用。
5，整个课程的讲解思路是先提出问题，然后分析问题，并编程解决解题。
适用人群
1、对大数据感兴趣的在校生及应届毕业生。
2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。
3、对大数据行业感兴趣的相关人员。
课程内容
第一章、Spark 基础环境
1.课程安排说明
2.Spark 框架概述
3.快速入门
4.Standalone集群及HA
5.Spark 应用开发入门
6.Spark 应用提交
7.Spark on YARN
8.应用部署模式DeployMode
第二章、SparkCore 模块
1.RDD 概念及特性
2.RDD 创建
3.RDD 函数及使用
4.RDD 持久化
5.案例：SogouQ日志分析
6.RDD Checkpoint
7.外部数据源（HBase和MySQL）
8.广播变量和累加器
9.Spark 内核调度
10.Spark 并行度
第三章、SparkSQL 模块
1.快速入门：词频统计
2.SparkSQL 概述
3.DataFrame
4.RDD与DataFrame转换
5.数据分析SQL和DSL
6.案例：电影评分数据分析
7.DataSet
8.外部数据源Exeternal DataSource
9.集成Hive
10.自定义函数UDF
11.分布式SQL引擎（spakr-sql和Spark ThriftServer）
12.Catalyst 优化器
第四章、离线综合实战
1.综合实战概述（需求、调研、业务）
2.环境搭建（大数据环境和应用开发环境）
3.项目初始化（工具类和属性文件）
4.广告数据ETL
5.Spark 分布式缓存
6.业务报表分析
7.应用执行部署
8.Oozie和Hue集成调度Spark 应用
第五章、SparkStreaming 模块
1.Streaming流式应用概述
2.Streaming 计算模式
3.SparkStreaming计算思路
4.入门案例
5.SparkStreaming工作原理
6.DStream及函数
7.集成Kafka
8.案例：百度搜索风云榜（实时ELT、窗口Window和状态State）
9.SparkStreaming Checkpoint
10.消费Kafka偏移量管理
第六章、StructuredStreaming模块
1.StructuredStreaming 概述（核心设计和编程模型）
2.入门案例：WordCount
3.输入源InputSources
4.Streaming Query 设置
5.输出终端OutputSink
6.集成Kafka（Source和Sink）
7.案例：物联网设备数据分析
8.事件时间窗口分析
9.Streaming Deduplication数据去重
10.Continues Processing连续流处理
第七章、实时综合实战
1.综合实战概述（需求、环境搭建和项目初始化）
2.模拟交易订单数据
3.数据实时ETL存储Kafka
4.实时应用停止
5.实时增量存储（存储HBase和Elasticsearch）
6.实时订单报表（Kafka-StructuredStreaming-Redis）
7.实时应用性能调优（数据本地性、反压机制、动态资源和日志管理）
2021-10-29 18:06:32
4KB
该包可以启动spark的thriftserver。可以解决报错failed load org.apache.spark.sql.hive.thriftserver.HiveThriftServer2的报错。
2021-10-21 21:01:57
200.37MB
1
上百节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。
本课程主要讲解的内容包括：Scala编程、Hadoop与Spark集群搭建、Spark核心编程、Spark内核源码深度剖析、Spark性能调优、Spark SQL、Spark Streaming。
本课程的最大特色包括：
1、代码驱动讲解Spark的各个技术点（绝对不是照着PPT空讲理论）；
2、现场动手画图讲解Spark原理以及源码（绝对不是干讲源码和PPT）；
3、覆盖Spark所有功能点（Spark RDD、Spark SQL、Spark Streaming，初级功能到高级特性，一个不少）；
4、Scala全程案例实战讲解（近百个趣味性案例）；
5、Spark案例实战的代码，几乎都提供了Java和Scala两个版本和讲解（一次性同时精通Java和Scala开发Spark）；
6、大量全网唯一的知识点：基于排序的wordcount，Spark二次排序，Spark分组取topn，DataFrame与RDD的两种转换方式，Spark SQL的内置函数、开窗函数、UDF、UDAF，Spark Streaming的Kafka Direct API、updateStateByKey、transform、滑动窗口、foreachRDD性能优化、与Spark SQL整合使用、持久化、checkpoint、容错与事务。
7、多个从企业实际需求抽取出的复杂案例实战：每日uv和销售额统计案例、top3热卖商品统计案例、每日top3热点搜索词统计、广告计费日志实时黑名单过滤案例、热点搜索词滑动统 计案例、top3热门商品实时统计案例
8、深度剖析Spark内核源码与Spark Streaming源码，给源码进行详细的注释和讲解（史上最细致源码讲解）
9、全面讲解Spark、Spark SQL、Spark Streaming的性能调优，其中包括全网唯一的Shuffle性能调优（详细讲解性能调优的各个技术点）
10、涵盖Spark两个重要版本，Spark 1.3.0和Spark 1.5.1的讲解（走在Spark最前沿，涵盖最新高级特性）
一、Scala编程详解
二、课程环境搭建
三、Spark核心编程
四、Spark内核源码深度剖析
五、Spark性能优化
六、Spark SQL
七、Spark Streaming
2021-07-15 09:10:24
75B