上传者: 42138788
|
上传时间: 2021-11-22 14:41:03
|
文件大小: 60KB
|
文件类型: -
基于MapReduce实现物品协同过滤算法(ItemCF)
具体参考
补充:hadoop三种执行方式
MR执行环境有两种:本地测试环境,服务器环境
本地测试环境(windows):
在windows的hadoop目录bin目录有一个winutils.exe
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
4、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node7:8020");
config.set