NCDC天气数据集Hadoop MapReduce猪蜂巢 国家气候数据中心(NCDC)是世界上最大的实时气象数据存档。 我下载了1930年的NCDC数据并将其加载到HDFS系统中。 我实现了MapReduce程序和Pig,Hove脚本,以找到不同站点的Min,Max,avg温度。 编译了Java文件:javac -classpath /home/student3/hadoop-common-2.6.1.jar:/home/student3/hadoop-mapreduce-client-core-2.6.1.jar:/home/student3/commons-cli -2.0.jar -d MaxTemperature.java MaxTemperatureMapper.java MaxTemperatureReducer.java 创建了JAR文件:jar -cvf hadoop-
2022-12-03 21:57:08 46KB Java
1
数据存储实验5-编写MapReduce程序实现词频统计.doc(实验报告)
2022-10-21 19:00:41 779KB linux
1
一个简单的MapReduce程序。Hadoop2.2.0上实测可用。
2022-06-26 19:58:50 13KB Hadoop2.2.0 MapReduce
1
Linux 按照步骤完成命令行方式下Hadoop MR程序的编辑,编译,运行过程。 1)编辑java文件 可以采用任意的文本工具编辑Java代码 2)编译javac (1)设置CLASSPATH (2)编译java文件 (3)打jar包 4)执行 bin/hadoop jar xxx.jar packagename.classname input output
2022-06-22 09:08:11 603KB 云计算 实验报告
PageRank_MapReduce 在 Hadoop 上运行的 MapReduce 程序
2022-06-09 21:34:33 3KB Java
1
出租车预测 ## MapReduce程序使用首尔市提供的出租车分析数据预测出租车需求 ###开发环境操作系统:ubuntu-14.04.1(64bit) 工具:VMware Player,Eclipse平台(Maven项目) 处理器:单核处理器 记忆体:4GB ###目标使用首尔开放数据广场(data.seoul.go.kr)提供的首尔出租车运营分析数据,查找一周中特定时间出租车需求量最高的前10个地区的标准节点链接ID。 。 ###标准节点链接ID -什么是节点? 表示车辆在道路上行驶时发生速度变化的地方的地方 -什么是链接? 现实世界中的道路,指的是连接节点和节点的线,即发生速度变化的点。 -可以使用标准节点链接ID找到位置信息 相关链接: : ###参考 自己动手Hadoop编程/为Hangi /轻松发布欢呼 出租车运行分析应用指南.pdf ###数据集示例
2022-06-04 21:50:52 270KB Java
1
使用hadoop-streaming运行Python编写的MapReduce程序.rar
2022-05-09 19:14:02 511KB 源码软件 hadoop python mapreduce
对中文进行分词的java代码,分别在map reduce中实现。
2022-01-08 16:49:01 1.13MB 中文分词
1
文档倒排索引的MapReduce程序设计与实现
1
水果计数 通过MapReduce程序从输入文件计算“苹果”,“香蕉”和“葡萄”的出现频率。 地图缩小 MapReduce是一种编程模型和相关的实现,用于在集群上使用并行的分布式算法来处理和生成大数据集。 一个MapReduce程序包括: 映射过程:执行过滤和排序。 减少方法:执行摘要操作。 驱动程序类驱动程序类是控制程序执行的主要类。 在这里,我们创建一个Job对象,并设置程序中使用的驱动程序,映射程序和reducer类。 Mapper类MapReduce程序的任何mapper类都可以扩展抽象Mapper类。 然后,我们必须重写map函数,该函数采用键值对并引用Context变量,该变量由reduce函数处理。 Reducer类MapReduce程序的Reducer类扩展了抽象类Reducer。 该方法将在此类中重写。
2021-12-14 21:10:35 2KB
1