hadoop3.x的Windows依赖， 使用IDEA并创建Maven工程之后，导入该文件中pom文件即可完成配置，同时该资源内置了可以直接使用的pom文件

spark-3.2.0-bin-hadoop3-without-hive

说明： 1. 安装软件版本： jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属组 ：sudo chown -R ljr:ljr /export 修改目录权限：sudo +771 -R /export -R 表示递归，即export目录下的所有文件及目录的属组和属组以及权限均跟随着改变 3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行，因此从经济和实用性来说，集群的节点一般是奇数个，本文部署4台机器，其容灾能力与部署3台机器一致，即只能宕机1台

Hadoop配套资源，hadoop3.2 jdk1.8

windows环境下的hadoop3.1.0依赖，winutils

Apache Spark版本3.1.3。Linux安装包。spark-3.1.3-bin-hadoop3.2.tgz

资料包含 hadoop编译流程详细说明 apache-ant-1.9.16-bin.tar.gz cmake-3.22.4.tar.gz protobuf-2.5.0.tar.gz snappy-1.1.4.tar.gz cyrus-sasl-2.1.26-23.el7.x86_64.rpm cyrus-sasl-devel-2.1.26-23.el7.x86_64.rpm cyrus-sasl-gssapi-2.1.26-23.el7.x86_64.rpm cyrus-sasl-lib-2.1.26-23.el7.x86_64.rpm cyrus-sasl-md5-2.1.26-23.el7.x86_64.rpm cyrus-sasl-plain-2.1.26-23.el7.x86_64.rpm cyrus-sasl-scram-2.1.26-23.el7.x86_64.rpm

包含hadoop HDFS的上传 下载 创建目录等，包含mapreduce的wordcount实例操作

hadoop3.3.0-winutils所有bin文件，亲测有效

容错 Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。 Hadoop 3.x - 可以通过Erasure编码处理容错。 数据平衡 Hadoop 2.x - 对于数据平衡使用HDFS平衡器。 Hadoop 3.x - 对于数据平衡使用Intra-data节点平衡器，该平衡器通过HDFS磁盘平衡器CLI调用。 存储Scheme Hadoop 2.x - 使用3X副本Scheme Hadoop 3.x - 支持HDFS中的擦除编码。 存储开销 Hadoop 2.x - HDFS在存储空间中有200％的开销。 Hadoop 3.x - 存储开销仅为50％。 单点故障 Hadoop 2.x - 具有SPOF的功能，因此只要Namenode失败，它就会自动恢复。 Hadoop 3.x - 具有SPOF的功能，因此只要Namenode失败，它就会自动恢复，无需人工干预就可以克服它。