Hadoop在访问本地文件和hdfs文件系统时,需要使用本地库,本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境: hadoop2.7.7 - hadoop3.1.1 JDK1.7.0_80/JDK1.8.0_181 C# Compiler version 4.7.3062.0 maven 3.6.0 ProtocolBuffer 2.5.0 CMake 3.13.2 VS2010 mingw-w64 x86_64 8.1.0 请加星支持一下: https://github.com/caidaol/hadoopbuild
2019-12-21 20:49:56 531KB hadoop win64
1
配合eclipse 3.7.2(eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz),hadoop 2.7.1使用的插件
2019-12-21 20:25:27 32.16MB hadoop2.7.1 linux eclipse
1
教程:http://blog.csdn.net/nidaye13123/article/details/78872329 里面包含win10-64位、jdk8-64位编译好的hadoop2.8.3、2.6.4,以及编译过程中使用的软件、maven仓库,感兴趣的同学可以自己尝试下
2019-12-21 20:23:05 32B hadoop编译
1
spark-2.1.1-bin-hadoop2.7;spark-2.1.1-bin-hadoop2.7;spark-2.1.1-bin-hadoop2.7;
2019-12-21 20:20:11 191.82MB spark
1
hadoop.dll,windows 64位下可用 ,本人使用的是hadoop2.7.4,亲测没问题
2019-12-21 20:12:51 84KB hadoop.dll 64位 hadoop2.7.4
1
hadoop2.20 eclipse开发插件,经测试windows、ubuntu下均可用
2019-12-21 20:00:25 22.48MB hadoop2.2 eclipse plugin.jar
1
hadoop2.7.6 win10 x64本地编译成功后,hadoop-dist/target/hadoop-2.7.6/dist/bin目录下所有文件的压缩包
2019-12-21 19:58:00 753KB hadoop 本地编译 win10 x64
1
winutils.exe放置在%HADOOP_HOME%\bin目录下,,hadoop.dll放置在Windows\System下。
2019-12-21 19:47:12 79KB winutils
1
spark-2.2.0-bin-hadoop2.6.tgz主要是应用与Spark on YARN模式的安装包
2019-12-21 19:46:24 192.36MB Spark2.2.0 hadoop2.6
1
针对问题: hadoop2.7.1下运行org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 解决办法: 1:解压该文件 2:将hadoop.dll复制到C:\Window\System32下 3:添加环境变量HADOOP_HOME,指向hadoop目录 4:将%HADOOP_HOME%\bin加入到path里面(或在代码中设置系统属性代码System.setProperty("hadoop.home.dir", %解压zip的根目录%) 5:重启myeclipse或者eclipse
2019-12-21 19:43:19 763KB hadoop hadoop2.7.1 hadoop.dll winutils.exe
1