上传者: master_hunter
|
上传时间: 2022-07-19 14:06:09
|
文件大小: 40KB
|
文件类型: ZIP
Scala项目中的winutils.exe详解
作用:
模拟linux环境
意义:
hadoop基于linux开发和布署运行,故不能将hadoop环境原始运行在windows上。
操作系统环境差异说明
因为模拟linux环境,所以在linux原生环境中就不需要他了
在windows环境中需要配置
如何配置:
配置到运行环境当前目录下的/bin目录下
如果是eclipse开发,就配置到项目根目录下/bin/下即可
在Hadoop1.x 时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。
在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce 只负责运算。
Hadoop3.x在组成上没有变化Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。
(1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
(2)DataNode(dn):在本地文件系统存储文件块数据,以及块