大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第12期副刊_HBase性能优化_V1.0 共26页.pdf

Hadoop之数据处理.pdf

hadoop集群搭建详细步骤

hadoop环境搭建详细版

主要是想分享hadoop3.1.0-winutils这个windows依赖包

flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar

一.实验目的： 1.安装VMware Workstation Pro，应用相关操作 2.在虚拟机中安装Linux Centos7.4 3.静态网络地址的配置，所有主机的网络能够正常使用，相互能够正常连接 4.完成主机名的配置，正确设定永久有效的主机名 二、实验环境： 1.五台独立虚拟机 2.每台虚拟机内存2G以上，磁盘50G 3.安装Centos 7.4_64操作系统 三、五台虚拟机IP 主机名 IP地址 Cluster-01 192.168.106.11 Cluster-02 192.168.106.12 Cluster-03 192.168.106.13 Cluster-04 192.168.106.14 Cluster-05 192.168.106.15

一、实验要求 在集群中所有主机上完成JDK 的安装 所有主机上JDK相关命令能够正常使用 二、软件版本 选用JDK8的131版本，软件包名jdk1.8.0_131-linux-x64.tar.gz 三、集群规划 将五台主机中的主机1和主机2作为主节点，主机3，主机4，主机5作为其他节点

一、实验要求 完成Zookeeper的完全分布模式的安装 Zookeeper服务能够正常启动和连接 Zookeeper控制台能够正常进入 Zookeeper控制台命令能够正常使用 二、实验目的 Zookeeper的完全分布模式的安装和验证 三、软件版本 选用Zookeeper的3.4.9版本，软件包名zookeeper-3.4.9.tar.gz 四、集群规划 Zookeeper采用的投票算法要求至少有3个及其以上的服务节点，且服务节点为奇数时为最有效的配置，所以将集群的五台主机全部作为服务节点。

通过指定目录进行多线程执行合并小文件程序，由于hdfs小文件过多，可用于自定义合并orc小文件。