hadoop之MapReduce实现二度好友算法,包含输入数据demo,完整运算代码,在windows10下成功运行,输出结果为cat hello:2,hadoop:2,mr:1,world:1类似。
1
基于hadoop的好友推荐系统 使用 MapReduce 内含系统说明文件
2022-04-08 09:05:40 172KB hadoop 大数据 big data
1
Hadoop MapReduce Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。 Why MapReduce? 1.海量数据在单机上处理因为硬件资源限制,无法胜任 2.而一旦将单机版程序扩展到集群来分布式运行,将极大增加程序的复杂度和开发难度 3.引入mapreduce框架后,开发人员可以将绝大部分工作集中在业务逻辑的开发上,而将分布式计算中的复杂性交由框架来处理 MapReduce编程规范 1.用户编写的程序分成三个部分:Mapper,Reducer,Driver(提交运行mr程序的客户端) 2.Mapper的输入数据是KV对的形式(KV的类型可自定义) 3.Mapper的输出数据是KV对的形式(K
2022-03-10 13:56:25 2.1MB Python
1
MapReduce-recomend 二度人脉好友推荐运用非常广泛,比如在一些主流的社交产品中就有可能认识的人这样的功能,一般来说可能认识的人是通过二度人脉搜索得到的,在传统的关系型数据库中,可以通过图的广度优先遍历算法实现,而且深度限定为2,然而在海量的数据中,这样的遍历成本太大,所以有必要利用MapReduce编程模型来并行化,本篇文章是二度好友推荐的mapreduce简单实现,难免会有不足和缺陷,希望大家能够指出,共同进步。 假如A和B是好友关系,B和C是好友关系,然而C和A不是好友关系,那么A和C是二度好友关系,他们可以通过B认识,B是中间人。我们定义一个符号“>”来代表follow,上面的例子可以这样表示 A>B B>C 在社交网络任何一个活跃的用户U都存在对应的两个集合,一个是粉丝集合,一个是关注集合,以用户U作为中间联系的2度人脉对,是粉丝集合和关注集合的笛卡尔积。 于是在M
2021-12-26 17:11:12 3KB Java
1
在qq 微博等众多社交平台中,用户a有n位好友,在这n位好友里面的好友中有m位不是a的直接好友(例如用户b)。但是通过朋友的朋友,a与b之间有多位共同好友,换而言之,a是b可能认识的人。
2021-12-26 17:08:14 4KB hadoop 好友推荐
1
好友推荐算法方面计算机学报的论文,都比较好,本人亲自看过的。
2021-12-24 00:28:54 3.09MB 好友推荐算法 计算机学报
1
Hadoop实例:二度人脉与好友推荐,供大家一起共同分享学习。
2021-12-06 18:20:47 6KB Hadoop实例 二度人脉与 好友推荐
1
基于内容的微博好友推荐系统,陈珍珍,郑岩,随着网络社交方式的逐渐演进,微博以其简短、实时、便捷、原创等特点,正逐步发展成为备受人们关注的社交网络平台。社交的根本是
2021-09-08 15:18:51 487KB 微博
1
行业分类-物理装置-一种基于主题模型和关联规则算法的好友推荐方法及系统.zip
基于itemcf的微博好友评分推荐系统。 采用flask 和 sqlite3 ,bootstrap搭建的推荐系统。有管理页、登陆、注册、详情、评分、列表等页面。
2021-08-07 09:05:37 1.17MB 毕设 推荐