上传者: GCPOP
|
上传时间: 2022-05-21 12:04:41
|
文件大小: 1.97MB
|
文件类型: DOC
第5章 MapReduce分布式计算框架 2
5.1. MapReduce简介 2
5.2. wordcount经典案例介绍 2
5.3. MapReduce进程介绍 3
5.4. MapReduce编程规范 3
5.5. wordcount经典案例的实现 5
5.5.1. 分析数据准备 5
5.5.2. 新建maven项目,导入项目所需要的依赖 6
5.5.3. Mapper阶段代码编写 10
5.5.4. Reduce阶段代码编写 12
5.5.5. 定义Driver类, 描述 Job 13
5.5.6. 使用maven将项目打包成jar包 15
5.6. MapReduce作业运行 16
5.7. END 19
第5章MapReduce分布式计算框架
本章介绍了Hadoop的MapReduce分布式计算框架的基本概念、编程规范和词频统计实战等内容。从存储的大数据中快速抽取信息,进一步进行数据价值的挖掘,需要用到大数据的分布式计算技术的支持。Hadoop支持多种语言进行MapReduce编程,包括java、Python和C++等。本章从实战的角度出发,使用java编程语言通过