资源包括三个 1.JDK21安装包 2.hadoop 3.2.2 安装包 3.hadoop 3.2.2 windows 安装替换 详情安装步骤可以看我的博客"JDK21+HADOOP3.2.2+Windows安装步骤” 也可从官网直接下载，JDK官网和Hadoop官网均可下载

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

hive-exec-1.2.1.spark2.jar spark2-shell 支持 hive2 hadoop3

spark2.4.8编译支持 hadoop3.3.3 和 hive2

windows版hadoop3.3.0

在windows11平台，基于hadoop3.3.4源码包编译，按需自取

集成了hadoop3.2.4，hive3.1.3, spark3.2.1，kyuubi，ozone等组件，完全基于Apache版本使用Ambari2.7.6进行集成，支持centos系的国产操作系统，例如红旗等。同时支持x86和aarch64两种cpu架构，满足国产化改造的需要。可以在hortonworks的hdp3.1.4版本上直接升级，安装步骤基本一致，其他信息可以访问www.hdp.link网站查看，由于文件太大，下载的文本为百度网盘地址。

练习搭建伪分布Hadoop3.X集群，只用于刚刚开始学习搭建hadoo伪分布式集群的人群，帮助大家快速搭建Hadoop3.X伪分布式集群，快速入门大数据为日后的学习打下坚实的基础

hadoop基础集群搭建

Scala项目中的winutils.exe详解 作用: 模拟linux环境 意义: hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录下的/bin目录下 如果是eclipse开发，就配置到项目根目录下/bin/下即可 在Hadoop1.x 时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。 在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce 只负责运算。 Hadoop3.x在组成上没有变化Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 （1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 （2）DataNode(dn)：在本地文件系统存储文件块数据，以及块