本文档详细地说明了如何在linux系统下配置hadoop平台,本人是在笔记本上用虚拟机(ubuntu系统)部署的,并说明运行实例程序mapreduce的操作步骤及结果
2022-03-11 16:20:41 1.35MB Hadoop 集群 平台部署
1
基于 Docker 构建 Hadoop 平台
2022-01-18 13:16:21 576KB Docker Hadoop
1
基于Hadoop平台的亿贝用户邮件数据分析(苏立).zip
2021-12-27 17:48:06 1.74MB Hadoop
1
基于Hadoop平台的电信数据分析系统 毕业论文 仅供参考,因为论文有查重
2021-12-22 15:21:10 317KB 系统 Hadoop
1
本文重点阐述了通信数据分布式存储与查询在Hadoop 平台上的实现。据Hbase数据库的特色设计了通信社会网络数据模型。实现了基于Hbase数据库上的条件查询。并对设计好的数据模型进行了优化。最后在Hadoop数据服务平台上实现了面向软件客户端的数据访问服务。设计了适合通信社会网络数据特色的 Map/Reduce算法。通过MaP和Reduee函数实现了数据的并行查询和处理。在数据查询过程中,还将数据遍历过程放Reduce函数中,从而使广度优先搜索算法的层次遍历过程也能够并行运行。这在很大程度上优化了数据查询和分层扩展的效率
2021-12-03 21:34:13 4.01MB hadoop 分布式查询
1
考虑到大数据环境下传统的单机推荐算法无法高速有效地处理大规模的数据,为了提高图书推荐算法性能和解决图书推荐系统可扩展性的问题,通过Hadoop平台下的MapReduce编程模型,提出一种分布式加权型混合推荐算法。在分布式环境下采用基于矩阵分解的协同过滤推荐算法,改善数据稀疏性,然后将聚类模型结合矩阵分解算法,解决读者数据冷启动问题。在Hadoop上实现该算法不仅提升了算法的运行速率,而且能够有效解决算法的可扩展性问题。
1
hadoop
2021-11-28 09:00:45 1.08MB 1+x
1
首先介绍了云计算的相关概念,其次阐述了当前教育资源库建设的现状以及存在的问题,进而提出基于Hadoop平台的教育资源库建设方案,最后详细介绍了其核心模块的实现过程.
2021-11-25 12:08:03 1.09MB 自然科学 论文
1
面对互联网上的海量数据,单台主机已无法满足其存储和计算要求,分布式存储和分 布式计算的应用成为必然的趋势。其中Hadoop 是应用较多的分布式存储和计算框架之一。 本文在该平台下,通过对国内某搜索引擎两个月内的上千万条用户搜索日志进行数据统计分 析,给出相应Map/Reduce 程序的设计思路和实例,并提出Map/Reduce 分布式程序的部分设 计和性能优化方法,实验结果表明,本文提出的这些方法能简化Map/Reduce 程序设计、有 效提高程序性能
2021-11-23 08:43:02 287KB hadoop
1
hive和mariadb的安装与配置
2021-11-15 19:03:11 2.59MB hive和mariadb
1