在DigitalOcean上使用Docker Swarm运行Spark
想学习如何构建它吗？
查看。
要使用这个项目吗？
货叉/克隆
Digital Ocean并访问令牌
将令牌添加到您的环境中：
$ export DIGITAL_OCEAN_ACCESS_TOKEN=[your_token]
启动三个Droplet并部署Docker Swarm：
$ sh scripts/create.sh
运行脚本：
$ sh scripts/run.sh
减少资源：
$ sh scripts/destroy.sh
2022-05-21 22:53:33
5KB
1
windows系统下eclipse集成hadoop,spark,hive开发环境
2022-05-21 14:10:15
11KB
1
项目主要内容：
1.采用Hadoop作为分布式文件文件系统存储数据
2.基于 TensorFlow 复现论文 PNN、DeepFM
3.搭建推荐系统架构，召回、过滤、精排阶段
4.使用 SparkStreaming 进行流计算，不断将用户行为反馈给模型进行计算，提供
下一次推荐服务
5.使用 SparkStreaming 对接 Kafka 源，消费 Kafka 中的实时用户行为数据
6.使用 PNN、DeepFM 进行 CTR 点击评估
目前，几大互联网厂商例如腾讯、百度、阿里已陆续开始使用推荐系统，因为在海量数据的今天，人们已经无法看清自己真正的喜好，所以推荐系统应运而生，像现在快手、抖音等平台都陆续开始引进推荐系统，这些厂商会收集大量用户的观看行为，例如点赞、评论、收藏以及视频观看时间等，基于这些数据会对用户进行分析，帮助用户进行定位自身的兴趣所在，然后基于大数据平台帮助用户拿到它们想要的视频，而且包括百度，它们正在使用广告推荐这种，当我们在搜索引擎中搜索一些关键词时，它们将会根据 query 进行分析进而将一些广告商进行关联，然后在首页为用户推荐一些广告进而增加广告的点击量。
2022-05-21 09:09:08
76.41MB
网上搜集的3本spark书籍：
Spark快速大数据分析
大数据Spark企业级实战版
深入理解Spark 核心思想与源码分析
2022-05-20 20:48:30
122.05MB
1
该文档来自Spark Summit 2013峰会上Databricks CTO——Matei Zaharia的主题演讲，他主要就Spark的现状和未来做了详细的阐述。
2022-05-20 19:57:25
953KB
1
clickhouse的JDBC驱动，从0.2.4版本到0.3.2版本的都在里面
2022-05-20 15:48:16
1.73MB
1
使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。
所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。除了兼容spark3.0.0外，还将hive3.1.2的guava的版本进行了提升，和hadoop3.x保持一致，以便兼容hadoop3.1.3。
2022-05-20 14:06:07
268.02MB
1