利用k_means聚类算法的MapReduce并行化实现,为学习hadoop的同学提供参考
2023-11-17 15:02:23 258KB kmeans mapreduce
1
本文介绍了实验3-MapReduce编程初级实践,旨在通过实验掌握基本的MapReduce编程方法,并掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。实验平台为已经配置完成的Hadoop伪分布式环境。实验内容要求编程实现文件合并和去重操作,对于两个输入文件进行合并,并剔除其中重复的内容,得到一个新的输出文件。
2023-04-07 18:44:40 123KB 互联网
1
基于hadoop的电商销售预测分析系统HDFS+MapReduce+springboot报告文档 源码:https://download.csdn.net/download/weixin_46115961/86338894
1
从高铁数据中分析得到高速列车的运行状况对保障高铁安全至关重要.列车的振动数据就是其中之一,这些振动数据是通过多个传感器以一定的采样频率得来的.一个1~2d的测试实验将得到GB以上的数据,因此振动数据分析之前的预处理过程必不可少,包括异常点处理、消除线性趋势项等.异常点处理是指先用通用规则发现异常点,并用其邻近的数据点来恢复它的值.线性趋势项是指测试设备的原因使得采集的数据有一个线性的偏移,不处理偏移,则误差将会进一步累积.传统的振动数据预处理方法是顺序逐个处理文件,处理时间长,不能满足要求,且受内存的限制
2023-03-27 00:38:52 1.19MB 自然科学 论文
1
MapReduce-机器学习 一些机器学习算法的 Map-Reduce 实现
2023-03-16 12:37:40 36KB Python
1
基于Mapreduce的大规模图强连通分量算法,吕璐,谢磊,有向图强连通分量是图论中的基本问题。强连通分量算法一般都是基于深度优先搜索,但难于在大规模图上并行实现。本文提出了一种基
2023-03-14 15:20:08 271KB Graph Mining
1
单词计数是最简单也是最能体现 MapReduce 思想的程序之一,可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述采用 MapReduce 解决实际问题的基本思路和具体实现过程。 设计思路 首先,检查单词计数是否可以使用 MapReduce 进行处理。因为在单词计数程序任务中,不同单词的出现次数之间不存在相关性,相互独立,所以,可以把不同的单词分发给不同的机器进行并行处理。因此,可以采用 MapReduce 来实现单词计数的统计任务。 其次,确定 MapReduce 程序的设计思路。把文件内容分
2023-03-03 14:58:27 146KB c ce du
1
一篇基于Mapreduce的频繁项集挖掘的综合性论文,很有实用性。
2023-02-28 15:54:25 330KB Mapreduce
1
Google File System,MapReduce,BigTable三大论文英文原版+中文翻译。分布式,大数据必读论文。
2023-02-23 00:15:47 3.26MB GFS Bigtab Mapred
1
Hadoop和Python的Mapreduce 关于如何使用Python和Hadoop执行MapReduce的一小段回购。 映射器和化简器都是用Python编写的。 有关如何在Hadoop中实现这两个脚本的教程位于。
2023-02-22 17:06:20 1021KB Python
1