Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门
2021-11-23 22:37:02
858KB
1
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库，采用SpringMVC+Spring框架实现，包括用户注册与登录、我的网盘、关注用户、我的分享、我收到的分享等五大功能模块。其中我的网盘包括查看文件列表，多文件上传，创建文件夹，文件重命名、复制与移动、下载、在线浏览、分享等诸多功能。所使用的技术包括：SpringMVC框架、Spring框架、Maven项目管理工具、Hadoop HDFS文件系统、HBase数据库、openoffice服务、pdf2swf文件格式转换工具、flexpaper插件等。
2021-09-04 14:07:56
50.47MB
1
1 初识HADOOP 3
1.1 MAPREDUCE模型介绍 3
1.2 HADOOP介绍 5
1.2.1 Hadoop的核心MapReduce 6
1.2.2 Hadoop的分布式文件系统 7
1.3 安装HADOOP 8
1.3.1 安装的前提条件 8
1.3.2 安装Hadoop 13
1.3.3 检查你的环境 14
1.4 执行和测试HADOOP样例程序 18
1.4.1 Hadoop的样例代码 18
1.4.2 测试Hadoop 23
1.5 解决问题 24
1.6 总结 25
2 MAPREDUCE任务的基础知识 26
2.1 HADOOP MAPREDUCE作业的基本构成要素 26
2.1.1 输入分割块 30
2.1.2 一个简单的Map任务：IdentityMapper 30
2.1.3 一个简单的Reduce任务：IdentityReducer 32
2.2 配置作业 34
2.2.1 指定输入格式 43
2.2.2 设置输出参数 45
2.2.3 配置Reduce阶段 50
2.3 执行作业 52
2.4 创建客户化的MAPPER和REDUCER 54
2.4.1 设置客户化的Mapper 54
2.4.2 作业完成 60
2.4.3 创建客户化的Reducer 62
2.4.4 为什么Mapper和Reducer继承自MapReduceBase 65
2.4.5 使用客户化分割器 66
2.5 总结 68
2021-09-04 09:13:03
265KB
Hadoop分布式集群搭建所需安装包资源
jdk-8u171-linux-x64.tar.gz
hadoop-2.7.5.tar.gz
2021-09-01 19:07:48
383.5MB
1