此案例使用的是IDEA开发工具,项目属于maven项目 该案例中主要使用MapReduce作为处理组件进行数据处理,实现的案例有如通过javaapi实现hbase数据写入hdfs、hbase表数据复制到另一个表中等操作 对应(《HBase分布式存储系统应用》胡鑫喆 张志刚著)教材中案例
2022-05-30 19:06:45 56KB hbase mapreduce database javaapi
1
Ch6-MapReduce算法设计.ppt.ppt
2022-05-29 14:07:04 7.13MB 算法 文档资料 mapreduce big
网页排名 使用 mapreduce 实现页面排名算法 该程序将计算输入文件中每个网页的页面排名 src文件夹中的PageRank.jar文件(在develop分支)可以通过以下方式使用: hadoop PageRank.jar PageRank.PageRank input_path output_path中间路径 -参数 input_path is the folder containing input file(s) output_path is the folder containing final output file(s) intermediate_path is the folder containing all intermediate files generated during the run -输入文件格式 page_id_1: page1_neighbor1,
2022-05-28 13:34:22 3KB Java
1
hadoop之MapReduce实现二度好友算法,包含输入数据demo,完整运算代码,在windows10下成功运行,输出结果为cat hello:2,hadoop:2,mr:1,world:1类似。
1
一、实验目的 (1)熟悉Hadoop开发包 (2)编写MepReduce程序 (3)调试和运行MepReduce程序 (4)完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验(wordcount) (1)输入start-all.sh启动hadoop相应进程和相关的端口号 (2)打开网站localhost:8088和localhost:50070,查看MapReduce任务启动情况 (3)写wordcount代码并把代码生成jar包 (4)运行命令 (1):把linus下的文件放到hdfs上 (2):运行MapReduce (5):查看运行结果 (6)网页上查看MapReduce任务 2.矩阵相乘实验(matrix) (1)写matrix代码并把代码生成jar包 (2)运行命令 (1):把linus下的文件放到hdfs上 (2):运行MapReduce (3):查看运行结果 3.网页排名实验(pagerank) (1):写pagerank代码并把代码生成jar包
2022-05-25 14:07:37 10.46MB hadoop mapreduce 文档资料 大数据
MRGraphSearch Apache Hadoop 的简单 MapReduce 图搜索算法。 它计算未加权图中两个指定顶点之间的距离。
2022-05-23 11:20:42 14KB Java
1
配置mapreduce开发环境(简单易懂,轻松上手)一步一步按照教程操作就行
2022-05-22 21:34:47 127KB 配置 map reduce
1
第5章 MapReduce分布式计算框架 2 5.1. MapReduce简介 2 5.2. wordcount经典案例介绍 2 5.3. MapReduce进程介绍 3 5.4. MapReduce编程规范 3 5.5. wordcount经典案例的实现 5 5.5.1. 分析数据准备 5 5.5.2. 新建maven项目,导入项目所需要的依赖 6 5.5.3. Mapper阶段代码编写 10 5.5.4. Reduce阶段代码编写 12 5.5.5. 定义Driver类, 描述 Job 13 5.5.6. 使用maven将项目打包成jar包 15 5.6. MapReduce作业运行 16 5.7. END 19 第5章MapReduce分布式计算框架 本章介绍了Hadoop的MapReduce分布式计算框架的基本概念、编程规范和词频统计实战等内容。从存储的大数据中快速抽取信息,进一步进行数据价值的挖掘,需要用到大数据的分布式计算技术的支持。Hadoop支持多种语言进行MapReduce编程,包括java、Python和C++等。本章从实战的角度出发,使用java编程语言通过
2022-05-21 12:04:41 1.97MB mapreduce
1
MapReduce设计模式.pdf
2022-05-19 12:02:53 42.51MB MR设计
1
hadoop并行计算mapreduce详解 很宝贵的大数据方向的学习资料。非常适合专注技术层次的人员学习。想要更多资源请关注。
2022-05-16 23:03:26 850KB hadoop 大数据 机器学习 集群
1