序列化/反序列化机制 当自定义一个类之后,如果想要产生的对象在hadoop中进行传输,那么需要 这个类实现Writable的接口进行序列化/反序列化 案例:统计每个人产生的总流量 数据源 自定义类序列化 import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.Writable; public class Flow implements Writable{ private String phone; private String
2021-12-22 13:36:04 39KB c ce do
1
对应博客:MapReduce 运行原理(万字长篇 原理 + 案例) 链接:https://blog.csdn.net/weixin_47243236/article/details/121581689?spm=1001.2014.3001.5501
2021-12-21 19:07:52 363KB MapReduce WordCount WebCount FileInputFormat
1
【Hadoop项目】全国各省市酒店数据的分析与处理
2021-12-21 19:07:51 758KB hadoop java mapreduce
2021-11-29 16:28:48,544 ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable G:\hadoop-2.6.0\hadoop-2.6.0\bin\winutils.exe in the Hadoop binaries.出现此内容的报错。 适用于在Windows系统本地运行Mapreduce程序,可以挑选接近所选用的hadoop版本来使用Winutils,例如hadoop2.6.0版本,可以使用资源中的2.6.3版本的winutils.
2021-12-21 10:07:25 6.13MB Mapreduce
1
mapreduce二次排序,年份升序,按照年份聚合,气温降序
2021-12-18 23:22:55 16KB 二次排序
1
用于圆周率计算的 api jar hadoop jar *.jar pi 10 1000000000
2021-12-17 16:38:20 289KB mapreduce
1
数据分析项目所有资源,包含整个项目必须的代码,答辩ppt都有!
2021-12-17 16:23:28 17.18MB mapreduce 数据分析 爬虫
1
使用MapReduce读取hbase数据库中千万级别的数据,处理数据并统计,将统计后的结果存入mysql
2021-12-17 14:58:16 7KB Hbase MapReduce mysql
1
hadoop实现聚类算法 利用MapReduce框架和HDFS来实现快速聚类
2021-12-16 17:29:55 541KB hadoop 聚类 算法 MapReduce
1