上百节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。
本课程主要讲解的内容包括：Scala编程、Hadoop与Spark集群搭建、Spark核心编程、Spark内核源码深度剖析、Spark性能调优、Spark SQL、Spark Streaming。
本课程的最大特色包括：
1、代码驱动讲解Spark的各个技术点（绝对不是照着PPT空讲理论）；
2、现场动手画图讲解Spark原理以及源码（绝对不是干讲源码和PPT）；
3、覆盖Spark所有功能点（Spark RDD、Spark SQL、Spark Streaming，初级功能到高级特性，一个不少）；
4、Scala全程案例实战讲解（近百个趣味性案例）；
5、Spark案例实战的代码，几乎都提供了Java和Scala两个版本和讲解（一次性同时精通Java和Scala开发Spark）；
6、大量全网唯一的知识点：基于排序的wordcount，Spark二次排序，Spark分组取topn，DataFrame与RDD的两种转换方式，Spark SQL的内置函数、开窗函数、UDF、UDAF，Spark Streaming的Kafka Direct API、updateStateByKey、transform、滑动窗口、foreachRDD性能优化、与Spark SQL整合使用、持久化、checkpoint、容错与事务。
7、多个从企业实际需求抽取出的复杂案例实战：每日uv和销售额统计案例、top3热卖商品统计案例、每日top3热点搜索词统计、广告计费日志实时黑名单过滤案例、热点搜索词滑动统 计案例、top3热门商品实时统计案例
8、深度剖析Spark内核源码与Spark Streaming源码，给源码进行详细的注释和讲解（史上最细致源码讲解）
9、全面讲解Spark、Spark SQL、Spark Streaming的性能调优，其中包括全网唯一的Shuffle性能调优（详细讲解性能调优的各个技术点）
10、涵盖Spark两个重要版本，Spark 1.3.0和Spark 1.5.1的讲解（走在Spark最前沿，涵盖最新高级特性）
一、Scala编程详解
二、课程环境搭建
三、Spark核心编程
四、Spark内核源码深度剖析
五、Spark性能优化
六、Spark SQL
七、Spark Streaming
2021-07-15 09:10:24
75B
上百节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。
⽬标：
了解反爬⾍项⽬的背景各⼤售票⽹⽹站对外提供了购票，查票⻔户，吸引正常⽤户的同时，也吸引了⼤量的爬⾍⽤户，爬⾍会造成企业内的服务器负载较⾼，但是转化率极低，企业为了解决这个问题，需要⼀个反爬⾍系统，进⾏爬⾍的识别最终屏蔽爬⾍。
项⽬介绍：
1.反爬⾍项⽬总体价绍，主要包括（背景、需求、流程、架构、openresty介绍、lua语法学习）
2.Lua采集数据写⼊kafka,搭建项⽬框架、Streaming读取kafka数据、链路统计功能实现
3.实现数据预处理的数据清洗、脱敏、拆分、分类（⻜⾏类型/操作类型，单程/往返）、解析等功能
4.实现数据预处理的数据历史爬⾍、结构化、数据推送、数据预处理监控、前端读取后端数据等功能
5.读取预处理后的数据、进⾏封装、分别统计⼋个指标的数据
6.根据已经算出的⼋项指标结果，进⾏爬⾍识别、剔除⾮爬⾍数据、写⼊Redis，写⼊HDFS,Redis数据恢复等
7.爬⾍分析性能的计算与监控、离线指标分析
2021-07-15 09:10:24
75B
第二阶段模块开发训练：
1）网络数据采集，使用requests或者scrapy爬取数据（不能使用我案例中爬取的页面），存储到一个文本文件（文件命名为：姓名-学号-数据源文件.txt）中。
2）使用Spark RDD或者Spark Sql，读取“姓名-学号-数据源文件.txt”内容，对某一个字段的数据进行统计，获得词频前10的字段数据。把结果放在一个文本文件里面，命名为：姓名-学号-排行结果.txt
不能爬取下面2个网页内容，可以爬取其网站的其他网页内容
http://www.yingjiesheng.com/commend-fulltime-{}.html
https://www.bilibili.com/v/popular/rank/all
要求：
1）7月15号21:00前提交作业
2）提交的作业为：爬虫项目+处理数据项目+姓名-学号-数据源文件.txt+姓名-学号-排行结果.txt四个内容放在一个文件夹里面打包，命名为：姓名-学号-第二阶段作业.rar（或者zip），然后发给我。可以发邮件+私聊窗口（21:00前有效）
2021-07-14 22:06:39
3KB
解决Spark与Hbase版本升级后Pyspark写入，报错找不到StringToImmutableBytesWritableConverte类和找不到:org.apache.hadoop.hbase.client.Put类中的add方法的问题
2021-07-13 15:16:35
1.81MB
1
上百节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。
课程介绍：
讲解一个真实的、复杂的大型企业级大数据项目，是Spark的大型项目实战课程。
通过本套课程的学习，可以积累大量Spark项目经验，迈入Spark高级开发行列。
课程特色：
1、项目中全面覆盖了Spark Core、Spark SQL和Spark Streaming这三个技术框架几乎全部的初级和高级的技术点和知识点， 让学员学以致用，通过一套课程，即掌握如何将Spark所有的技术点和知识点应用在真实的项目中，来实现业务需求！
2、项目中的4个功能横块，全郃是实际企业项目中提取出来的，并进行技术整合和改良过的功能模块.全都是企业级的复杂和真实的需求，业务模块非常之复杂，绝对不是市面上的Dem级别的大数据项目能够想比拟的，学习过后，真正帮助学员增加实际 企业级项目的实战经验。
3、项目中通过实际的功能模块和业务场景，以及讲师曾经开发过的处理十亿、甚至百亿以上数据级别的SparK作业的经验积累，贯穿讲解了大量的高级复杂的性能调优技术和知识、troubleshooting解决线上报错和故障的经验、高端的全方位数据倾斜处理和解决方案.真正帮助学员掌握高精尖的Spark技术！
4、项目中采用完全还原企业大数据项目开发场景的方式来讲解，每一个业务模块的讲解都包括了需求分析、方案设计、数据设计、编码实现、功能测试、性能调优等环节，真实还原企业级大数据项目开发场景。
模块简介：
1、用户访问session分析,该模块主要是对用户访问session进行统计分析.包括session的聚合指标计算、 按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的session.该模块可以让产品经理、数据分析师以及企业管理层形象地看到各种条件下的具体用户行为以及统计指标.从而对公司的产品设计以及业务发展战略做出调整.主要使用Spark Core实现.
2、页面单跳转化率统计,该模块主要是计算关键页面之间的单步跳转转化率，涉及到页面切片算法以及页面流匹配算法.该模块可以让产品经理、数据分析师以及企业管理层看到各个关键页面之间的转化率.从而对网页布局，进行更好的优化设计。主要使用Spark Core实现.
3、热门商品离线统计,该模块主要实现每天统计出各个区域的top3热门商品.然后使用Oozie进行离线统计任务的定时调度，使用Zeppeline进行数据可视化的报表展示.该模块可以让企业管理层看到公司售卖的 商品的整体情况，从而对公司的商品相关的战略进行调螫.主要使用Spark SQL实现。
4、广告流量实时统计.该模块负责实时统计公司的广告流量.包括广告展现流量和广告点击流量，实现动态黑名单机制以及黑名单过滤,实现滑动窗口内的各城市的广告展现流立和广告点击流直的统计，实现 每个区域诲个广告的点击流置实时统计，实现每个区域top3点击量的广告的统计,主要使用Spark Streaming实现.
2021-07-12 22:07:00
75B
Spark-NLP：大规模自然语言理解
2021-07-12 19:07:58
2.33MB
1