针对Hadoop集群部署过程繁琐复杂、耗时费力、运维难度大，且不利于快速扩展的问题，提出一种结合Docker容器技术部署集群的解决方法。该方法把Ambari及其运行环境和配置构建成Docker镜像，并把多节点容器的运行和Hadoop集群的部署过程写成Shell脚本，只需一条命令，即可实现集群的自动化部署。实验结果表明，该方法简单可靠并极大地提高了集群部署的效率。因此，对海量数据的处理和分析具有重要的推动作用。
2022-05-29 11:09:07
722KB
1
01_MapReduce框架处理数据的流程及几点注意
02_编写MapReduce编程模块
03_MapReduce数据类型及自定义数据类型
04_案例：网站基本指标分析（一）
05_案例：网站基本指标分析（二）
06_分布式安装部署：克隆虚拟机及配置网络
07_分布式安装部署：集群基本配置及服务运行规划
08_分布式安装部署：集群机器时间同步
09_分布式安装部署：依据规划配置与分发安装包
10_分布式安装部署：启动HDFS、YARN服务及测试程序
11_分布式安装部署：配置主从节点之间的SSH无密钥登录
2022-02-22 09:09:57
89.32MB
使用Docker搭建部署Hadoop分布式集群
在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。
一：环境准备：
1：首先要有一个Centos7操作系统，可以在虚拟机中安装。
2：在centos7中安装docker，docker的版本为1.8.2
安装步骤如下：
安装制定版本的docker
yum install -y docker-1.8.2-10.el7.centos
安装的时候可能会报错，需要删除这个依赖
rpm -e lvm2-7:2.02.105-14.el7.x86_64
启动
2021-12-09 23:09:13
387KB
1
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门
2021-11-23 22:37:02
858KB
1
Hadoop分布式集群搭建所需安装包资源
jdk-8u171-linux-x64.tar.gz
hadoop-2.7.5.tar.gz
2021-09-01 19:07:48
383.5MB
1
自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步一步来，安装就没有问题。
2021-05-10 13:07:58
8KB
1