数据挖掘在特教学院图书馆用户行为分析中的应用——以浙江特殊教育职业学院图书馆为例.pdf
2021-07-14 15:04:43
246KB
上百节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。
课程介绍：
讲解一个真实的、复杂的大型企业级大数据项目，是Spark的大型项目实战课程。
通过本套课程的学习，可以积累大量Spark项目经验，迈入Spark高级开发行列。
课程特色：
1、项目中全面覆盖了Spark Core、Spark SQL和Spark Streaming这三个技术框架几乎全部的初级和高级的技术点和知识点， 让学员学以致用，通过一套课程，即掌握如何将Spark所有的技术点和知识点应用在真实的项目中，来实现业务需求！
2、项目中的4个功能横块，全郃是实际企业项目中提取出来的，并进行技术整合和改良过的功能模块.全都是企业级的复杂和真实的需求，业务模块非常之复杂，绝对不是市面上的Dem级别的大数据项目能够想比拟的，学习过后，真正帮助学员增加实际 企业级项目的实战经验。
3、项目中通过实际的功能模块和业务场景，以及讲师曾经开发过的处理十亿、甚至百亿以上数据级别的SparK作业的经验积累，贯穿讲解了大量的高级复杂的性能调优技术和知识、troubleshooting解决线上报错和故障的经验、高端的全方位数据倾斜处理和解决方案.真正帮助学员掌握高精尖的Spark技术！
4、项目中采用完全还原企业大数据项目开发场景的方式来讲解，每一个业务模块的讲解都包括了需求分析、方案设计、数据设计、编码实现、功能测试、性能调优等环节，真实还原企业级大数据项目开发场景。
模块简介：
1、用户访问session分析,该模块主要是对用户访问session进行统计分析.包括session的聚合指标计算、 按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的session.该模块可以让产品经理、数据分析师以及企业管理层形象地看到各种条件下的具体用户行为以及统计指标.从而对公司的产品设计以及业务发展战略做出调整.主要使用Spark Core实现.
2、页面单跳转化率统计,该模块主要是计算关键页面之间的单步跳转转化率，涉及到页面切片算法以及页面流匹配算法.该模块可以让产品经理、数据分析师以及企业管理层看到各个关键页面之间的转化率.从而对网页布局，进行更好的优化设计。主要使用Spark Core实现.
3、热门商品离线统计,该模块主要实现每天统计出各个区域的top3热门商品.然后使用Oozie进行离线统计任务的定时调度，使用Zeppeline进行数据可视化的报表展示.该模块可以让企业管理层看到公司售卖的 商品的整体情况，从而对公司的商品相关的战略进行调螫.主要使用Spark SQL实现。
4、广告流量实时统计.该模块负责实时统计公司的广告流量.包括广告展现流量和广告点击流量，实现动态黑名单机制以及黑名单过滤,实现滑动窗口内的各城市的广告展现流立和广告点击流直的统计，实现 每个区域诲个广告的点击流置实时统计，实现每个区域top3点击量的广告的统计,主要使用Spark Streaming实现.
2021-07-12 22:07:00
75B
中华石杉
Spark大型项目实战：电商用户行为分析大数据平台\Spark大型项目实战：电商用户行为分析大数据平台（史上第一套高端大数据项目实战课程）
2021-07-12 17:09:23
112KB
1
延迟容忍网络中的转发机制因节点自私性行为会造成中继节点拒绝转发，并导致消息投递率降低、传输时延增长等性能下降问题。为此，基于节点行为分析，提出一种自私性延迟容忍网络消息转发机制。该机制以多副本传输为基础，通过研究节点行为中的合作特性和非合作特性建立节点状态概率转移模型，进而预测节点间消息的递交过程。利用消息副本转发条件对邻居节点进行选择喷射递交。若副本未到达目的节点，则进行基于目的节点相遇概率的递交方式。仿真结果表明，相比具有激励机制的传染路由、具有激励机制的喷射等待路由以及社会路由机制，该机制在消息投递率、传输时延、网络开销方面均具有较好的性能。
2021-07-07 12:03:54
1.18MB
1