大规模分布式存储的开发与实践.pdf

集群服务：大数据流框架上的分布式自动模型推理.pdf

Hadoop3.3.1+centos7 2009 完全分布式最新版配置教程

Hadoop完全分布式安装教程

Hadoop单机伪分布式安装

hdfs官方文档 Hadoop分布式文件系统：结构与设计.pdf

1.实现通过eclipse在HDFS上创建目录 2.实现通过eclipse在HDFS上创建文件夹 3.实现通过eclipse在HDFS上上传文件 4.实现通过eclipse查看在HDFS上的文件

Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。

CentOS7搭建有三个结点的Hadoop-3.3.2集群的配置免密登录，总的原则有以下几点： 1）、用useradd -m hadoop命令创建hadoop用户 2）、用passwd Hadoop命令设置hadoop密码 3）、用vim /etc/sudoers给hadoop用户分配管理员权限 4）、用su hadoop命令切换到hadoop用户，三个结点都要切换到各自的hadoop用户 5）、用cd ~切换到宿主目录，即/home/Hadoop目录 6）、用ssh-keygen -t rsa生成各自密钥，三个结点都要各自生成 7)、三个结点分别用命令chmod 700 /home/hadoop/.ssh/ && chmod 700 /home/hadoop/ #设置目录hadoop、.ssh的权限 8）、三个结点各自生成的密钥文件id_rsa.pub通过scp authorized_keys命令发往同一个结点，拿到三个结点密钥文件的结点先后用三次cat id_rsa.pub>>authorized_keys命令把三个结点的id_rsa.pub叠加在一起，组成一个由三个

带图带说明：Hadoop简介及Apache Hadoop三种搭建方式