Spark 项目流
org.apache.spark/spark-streaming_2.12/3.1.2/spark-streaming_2.12-3.1.2.jar
2022-05-31 11:23:52
1.09MB
1
Spark是一个高效的分布式计算系统，发源于美国加州大学伯克利分校AMPLab的集群计算平台。Spark立足于内存计算，相比Hadoop MapReduce，Spark在性能上要高100倍，而且Spark提供了比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
2022-05-31 08:49:12
6.51MB
1
Spark standalone 分布式集群搭建,Spark standalone运行模式,Spark Standalone运行架构解析---Spark基本工作流程,Spark Standalone运行架构解析---Spark local cluster模式
2022-05-30 22:26:16
739KB
1
基于50万亚马逊美食评论数据集的评论分类系统
Review classification system based on 500 thousand Amazon gourmet review data
数据集下载地址Data set download address:
1.http://download.csdn.net/download/huangyueranbbc/9935028
2.https://www.kaggle.com/snap/amazon-fine-food-reviews
需要更多资源请关注。
Github: https://github.com/huangyueranbbc
2022-05-29 21:11:41
73B
1
项目Steam游戏推荐系统
1概述
关键字：推荐系统，协作过滤，Spark，Hive，Flask，Web爬网程序，AWS EC2，AWS RDS
1.1引言
推荐系统在最近几年变得越来越流行，并且广泛用于电影，音乐，新闻，书籍，研究文章，搜索查询，社交标签和产品等各个领域。
推荐系统或推荐系统是信息过滤系统的子类，其试图预测用户将给予商品的“等级”或“偏好”。
在这个项目中，我通过Spark的ALS（交替最小二乘）API（pyspark.mllib.recommendation.ALS）在Spark上使用协作过滤算法，实现了游戏推荐系统。 协作过滤方法是基于收集和分析有关用户的行为，活动或偏好的大量信息，并基于与其他用户的相似性来预测用户的喜好。
1.2架构
整个项目分为三个阶段：
通过Web爬网程序收集数据
Spark上的游戏推荐引擎
Web UI实施
该项目的体系结构如下所示：
2022-05-27 01:11:18
9.52MB
1