case_pyspark
基于Python语言的Spark数据处理分析案例集锦（PySpark）
实验环境
1） Linux： Ubuntu 20.04
2） Python： 3.7.x
3） Spark： 2.4.5（安装教程：
4） Jupyter Notebook： （安装教程和使用方法：
案例
1） yelp: 基于YELP数据集的商业数据分析
2） us_counties: 2020年美国新冠肺炎疫情数据分析
3） ECommerce: 基于零售交易数据的Spark数据处理与分析
4） earthquake: 基于地震数据的Spark数据处理与分析
5） global： 基于Spark的地震数据处理与分析
6） OverDue： 基于信用卡逾期数据的Spark数据处理与分析
7） project： 基于 TMDB 数据集的电影数据分析
2021-12-04 21:30:51
7.04MB
1
配置好的kafka_2.12-2.8.0 + SCRAM-SHA-256，打开修改少量配置即可用
2021-12-04 09:12:05
68.69MB
1
在线教育项目
1.dwd 数据清洗 数据脱敏 清洗规则 脱敏字段，存储基础表
2.dws 降维 对表轻度聚合 做题表 课程表 主修行业表 试卷表。
3.join 方式：Spark SQL 、DF API、DS API , RDD DF DS 三者区别 优点和劣势。
宽表：几张宽表，字段。
拉链表：缓慢变化的字段（vip等级 用户支付金额）
4.用户注册模块：统计各个平台注册人数，通过url地址跳转的注册人数，top3用户支付金额 对内分析各部门贡献程度。
做题模块：统计试卷分数、做题情况、做题难易度 对外用户。
2021-12-02 17:51:41
130.96MB
1
快速测试
一个快速的Apache Spark测试帮助程序库，其中包含格式精美的错误消息！ 与 ， 和。
将用于PySpark应用程序。
阅读以获得关于测试Spark代码的最佳方法的完整说明！ 好的测试套件可以产生易于重构的更高质量的代码库。
安装
从Maven获取JAR文件。
// for Spark 3
libraryDependencies + = " com.github.mrpowers " %% " spark-fast-tests " % " 1.0.0 " % " test "
// for Spark 2
libraryDependencies + = " com.github.mrpowers " %% " spark-fast-tests " % " 0.23.0 " % " test "
这是和。 。
您应该将Scala 2.11与Spark 2一起使用，
2021-12-01 16:46:34
203KB
1
example-spark：Spark，Spark Streaming和Spark SQL单元测试策略
2021-12-01 15:11:50
56KB
1
spark-2.4.5-bin-without-hadoop.tgz (关注“吾说”（作者）一起学习大数据.rar)
一站式搭建sparkstreaming环境见该博客https://blog.csdn.net/wrwhahah/article/details/105716359
2021-11-30 21:53:45
159.83MB
1