1.从HDFS中加载数据到DataFrame中 2.注册UDF函数，函数名为toUpper就是将所有名字变成大写 3.创建临时视图，然后执行注册的函数

2.4 RIGHT OUTER JOIN 2.8 NATURAL JOIN 2.4 RIGHT OUTER JOIN 2.8 NATURAL JOIN

SparkSQL入门与数据分析实践-源代码.zip

一、实验目的 （1）通过实验掌握 Spark SQL 的基本编程方法； （2）熟悉 RDD 到 DataFrame 的转化方法； （3）熟悉利用 Spark SQL 管理来自不同数据源的数据。 （4）java程序实现SparkSQL 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）SparkSQL的基本知识 （1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 （5）访问http://localhost:4040可以看到spark web界面 （6）进入/spark/examples/src/main/resources目录，查看该目录下的内容 （7）查看people.json和employees.json的内容 （8）读取people.json、employees.json，创建DataFrame

视频详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 共课程包含9个章节： Spark环境搭建 SparkCore SparkStreaming SparkSQL StructuredStreaming Spark综合案例 Spark多语言开发 Spark3.0新特性 Spark性能调优 。

课程亮点： 1，课程由浅到深，由原理到实践，既适合零基础也适合深入学习。 2，涵盖了Spark一站式解决方案，包括：SparkCore、SparkSQL、SparkStreaming、StructuredStreaming等技术。 3，结合实际案例，培养解决实际问题的能力。 课程内容： 1、SparkCore 2、SparkSQL 3、SparkStreaming 4、StructuredStreaming 5、Spark案例 适用人群： 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求，希望从事大数据行业工作的在职人员。 3、对大数据行业感兴趣的相关人员。 第一章 Spark概述和入门 第二章 SparkCore-1 第三章 SparkCore-2 第四章 SparkCore-原理 第五章 SparkSQL-基础 第六章 SparkSQL-读写 第七章 SparkSQL-转换 第八章 SparkSQL-聚合与连接 第九章 SparkSQL-综合案例 第十章 SparkStreaming 第十一章 StructuredStreaming

安装java 安装hadoop 安装saprk 安装mysql 安装hive spark连接hive，连接mysql

sparksql简介 df的介绍 rdd转df df的一些基础操作

01-企业数据仓库四层架构及功能 02-以驴妈妈、一号店及京东订单分析技术架构设计 03-分析订单表、订单商品表及用户表的结构 04-修改配置Hive MetaStore对应Database中的相关字段字符编码为utf8 05-ODS层创建订单相关表及加载数据 06-DIM层维度信息表创建及加载数据 07-PDW层订单表、订单商品表及用户表创建及从ODS层表中导入数据 08-【订单基本统计分析】全流程深入详解 09-【各渠道Top订单用户统计及僵尸用户统计】分析剖析 10-【商品复购率】分析（一） 11-【商品复购率】分析（二） 12-【月平均日客户数】分析 13-互联网公司User相关常见指标分析

SparkSQL处理json的数据