1.map()：每次处理一条数据 2.mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原RDD中分区的数据才 1. coalesc

自学资料,sparkcore

spark的基础知识

课程亮点： 1，课程由浅到深，由原理到实践，既适合零基础也适合深入学习。 2，涵盖了Spark一站式解决方案，包括：SparkCore、SparkSQL、SparkStreaming、StructuredStreaming等技术。 3，结合实际案例，培养解决实际问题的能力。 课程内容： 1、SparkCore 2、SparkSQL 3、SparkStreaming 4、StructuredStreaming 5、Spark案例 适用人群： 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求，希望从事大数据行业工作的在职人员。 3、对大数据行业感兴趣的相关人员。 第一章 Spark概述和入门 第二章 SparkCore-1 第三章 SparkCore-2 第四章 SparkCore-原理 第五章 SparkSQL-基础 第六章 SparkSQL-读写 第七章 SparkSQL-转换 第八章 SparkSQL-聚合与连接 第九章 SparkSQL-综合案例 第十章 SparkStreaming 第十一章 StructuredStreaming

此为经典的网站日志点击流分析数据，每行数据的内容有访问时间，请求的url，来源url，ip，浏览器类型，响应码，请求类型等等

这个文件中的数据是我的博客中SparkCore之项目实战中用到的数据集，数据集是电商中真实的数据进行一定程度的数据清洗得到的。