自述文件
该项目基于Hadoop和Hive。 如果您尚未设置它们,请参考以下说明: & 。
您可以从下载我们的测试数据。 README.txt具有有关其数据属性的非常详细的说明。 在wirteup中也有描述。 请将给定数据集中的::替换为 (这是一个标签)。 只要使其更容易处理即可。
请将目录更改为刚刚下载的数据文件。 对我来说是$cd ~/ml-1m 请启动hadoop,这是Hive运行的先决条件。 输入命令$hive -f extract.q 。 将出现目录“结果”。 它存储我们要使用的数据。 我们已经在源文件中提供了这样提取的数据,称为new_data.txt 。
在HDFS上创建文件夹,我们将数据放入文件夹: $ hadoop fs -makedir /hadoop 将数据放在HDFS上: $ hadoop -fs copyFromLocal /directory of
2022-12-02 20:42:13
84.58MB
Java
1