spark,hadoop

spark-3.2.1-bin-without-hadoop

1、hadoop单机模式和伪分布式 2、hadoop集群 3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目：输入两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系，输出“工厂名——地址名”表，按工厂名排序输出。数据文件自己设计样例。

1、资源内容：毕业设计lun-wen word版10000字+；开题报告，任务书 2、学习目标：快速完成相关题目设计； 3、应用场景：课程设计、diy、毕业、参赛； 4、特点：直接可以编辑使用； 5、使用人群：设计参赛人员，学生，教师等。 6、使用说明：下载解压可直接使用。 7、能学到什么：通过学习本课题的设计与实现， 学习内部架构和原理，为后续的创作提供一定的设计思路和设计启发 ， 同时也为后续的作品创作提供有力的理论依据、实验依据和设计依据， 例如提供一些开源代码、设计原理和电路图等有效的资料，而且本设计简单， 通俗易通，易于学习，为不同使用者提供学习资源，方便快捷， 是一种有效且实用的，同时也是一份值得学习和参考的资料。

hadoop思维导图大全

hadoop+jdk（官网下载就行）

搭配文档操作流程：https://blog.csdn.net/qq_37257431/article/details/122883606?spm=1001.2014.3001.5501

Hadoop架构分析之集群结构分析,Hadoop架构分析之HDFS架构分析,Hadoop架构分析之NN和DN原生文档解读,Hadoop MapReduce原理之流程图.Hadoop MapReduce原理之核心类Job和ResourceManager解读.Hadoop MapReduce原理之核心类NodeManager,Hadoop MapReduce原理之核心类Yarn.Hadoop MapReduce原理之核心类RM与NM与AM的体系结构分析.

Shell命令和java两种方式完成了常用的HDFS操作，有源代码及运行结果截图 （1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件 （2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名 （3）将HDFS中指定文件的内容输出到终端中 （4）显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息 （5）给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息 （6）提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录 （7）提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在，则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录 （8）向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾 （9）删除HDFS中指定的文件 （10）在HDFS中，将文件从源路

在Hadoop大数据平台的基础上构建了一个基于MapReduce框架并行化的C4.5决策树算法，并采用此算法设计了一套银行贷款的风险预测系统。算法结合MapReduce框架、HDFS 文件存储系统，使用Java语言编写，根据贷款人的各个特征属性信息增益率来选择决策点。其中包含对连续值属性、离散值属性的处理，采用后剪枝悲观剪枝的方法对决策树进行剪枝，以避免决策树出现过拟合的特征。系统包含数据导入、数据分析、结果展示等模块，操作简单、快捷，能准确预测贷款人的信誉情况，平均准确率达到65%~80%，而且与传统的决策树模型相比在性能方面有更好的提升。