大数据云计算技术 在云中构建可扩展的分布式应用程序-精通Hadoop 共68页.docx

1 初识HADOOP 3 1.1 MAPREDUCE模型介绍 3 1.2 HADOOP介绍 5 1.2.1 Hadoop的核心MapReduce 6 1.2.2 Hadoop的分布式文件系统 7 1.3 安装HADOOP 8 1.3.1 安装的前提条件 8 1.3.2 安装Hadoop 13 1.3.3 检查你的环境 14 1.4 执行和测试HADOOP样例程序 18 1.4.1 Hadoop的样例代码 18 1.4.2 测试Hadoop 23 1.5 解决问题 24 1.6 总结 25 2 MAPREDUCE任务的基础知识 26 2.1 HADOOP MAPREDUCE作业的基本构成要素 26 2.1.1 输入分割块 30 2.1.2 一个简单的Map任务：IdentityMapper 30 2.1.3 一个简单的Reduce任务：IdentityReducer 32 2.2 配置作业 34 2.2.1 指定输入格式 43 2.2.2 设置输出参数 45 2.2.3 配置Reduce阶段 50 2.3 执行作业 52 2.4 创建客户化的MAPPER和REDUCER 54 2.4.1 设置客户化的Mapper 54 2.4.2 作业完成 60 2.4.3 创建客户化的Reducer 62 2.4.4 为什么Mapper和Reducer继承自MapReduceBase 65 2.4.5 使用客户化分割器 66 2.5 总结 68