spark数据处理和数据分析项目实战Dataframe风格里面包括数据和代码，启动idea就可以练习
2022-05-24 14:06:56
499KB
通过此案例可以学习大数据整体开发流程，课程是围绕一个大数据整理流程而做的教学课程，让大家明白大数据不同技术的相互协调，从收集数据，过滤数据，数据分析，数据展示，调度的使用而开发的课程，而且怎么从hadoop，hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。配套资料-答疑专属答疑群购买课程后加入qq群 951117762 （备注订单号后四位）
2022-05-23 20:12:37
183.14MB
1
基于FlumeKafkaSpark-的分布式日志流处理系统的设计与实现
2022-05-22 16:01:14
446KB
1
在DigitalOcean上使用Docker Swarm运行Spark
想学习如何构建它吗？
查看。
要使用这个项目吗？
货叉/克隆
Digital Ocean并访问令牌
将令牌添加到您的环境中：
$ export DIGITAL_OCEAN_ACCESS_TOKEN=[your_token]
启动三个Droplet并部署Docker Swarm：
$ sh scripts/create.sh
运行脚本：
$ sh scripts/run.sh
减少资源：
$ sh scripts/destroy.sh
2022-05-21 22:53:33
5KB
1
windows系统下eclipse集成hadoop,spark,hive开发环境
2022-05-21 14:10:15
11KB
1
项目主要内容：
1.采用Hadoop作为分布式文件文件系统存储数据
2.基于 TensorFlow 复现论文 PNN、DeepFM
3.搭建推荐系统架构，召回、过滤、精排阶段
4.使用 SparkStreaming 进行流计算，不断将用户行为反馈给模型进行计算，提供
下一次推荐服务
5.使用 SparkStreaming 对接 Kafka 源，消费 Kafka 中的实时用户行为数据
6.使用 PNN、DeepFM 进行 CTR 点击评估
目前，几大互联网厂商例如腾讯、百度、阿里已陆续开始使用推荐系统，因为在海量数据的今天，人们已经无法看清自己真正的喜好，所以推荐系统应运而生，像现在快手、抖音等平台都陆续开始引进推荐系统，这些厂商会收集大量用户的观看行为，例如点赞、评论、收藏以及视频观看时间等，基于这些数据会对用户进行分析，帮助用户进行定位自身的兴趣所在，然后基于大数据平台帮助用户拿到它们想要的视频，而且包括百度，它们正在使用广告推荐这种，当我们在搜索引擎中搜索一些关键词时，它们将会根据 query 进行分析进而将一些广告商进行关联，然后在首页为用户推荐一些广告进而增加广告的点击量。
2022-05-21 09:09:08
76.41MB
网上搜集的3本spark书籍：
Spark快速大数据分析
大数据Spark企业级实战版
深入理解Spark 核心思想与源码分析
2022-05-20 20:48:30
122.05MB
1