本篇PDF是我学习Hadoop过程中，基于网上的ubuntu部署过程，整理的自己在centos环境中的部署步骤，免费供大学使用。

mac版本，解决hadoop3.0.0安装后无法加载本地库的问题

适用于Hadoop集群搭建学习，参考

jarjar ---hadoop

hadoop/etc/hadoop/6个文件 core-site.xml hadoop-env.sh hdfs-site.xml mapred-site.xml yarn-env.sh yarn-site.xml

hadoop3.1.4默认配置项文件 core-default.xml hdfs-default.xml mapred-default.xml yarn-default.xml

hive2.1.1 show create table 表名，hive中文乱码，替换hive-exec-2.1.1.jar

【实验要求】 1.在所有集群admin完成JDK 的安装与配置； 2.所有主机上JDK相关命令能够正常使用； 3.完全分布模式中JDK的安装和验证； 【实验环境】 1.五台独立虚拟机 2.主机之间有效的网络连接 3.所有虚拟机已安装Centos7.4操作系统 4.所有虚拟机已完成网络属性配置 5.软件版本： 选用JDK8的131版本，软件包名jdk-8u131-linux-x64.tar.gz 6.集群规划： 将五台主机中的主机1和主机2作为主节点，主机3，主机4，主机5作为其他节点；

大数据、Flume、Hadoop、Zookeeper、Kafka等大数据工具的安装，步骤非常详细，每一步具体步骤，以及启动、停止自动化脚本编写。 具体步骤加代码。 step by step。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 。 本篇pdf只是单节点，即本机部署。