上传者: 42117340
|
上传时间: 2021-10-04 21:17:22
|
文件大小: 5KB
|
文件类型: -
Python 中的 Hadoop Mapreduce 示例
python 中的几个 Mapreduce 示例以及有关运行它们的文档!
运行代码的步骤
文件夹结构
假定文件存储在 Linux 操作系统中的给定位置。 这只是一个示例说明,实际上位置并不重要。
Hadoop 安装在:/usr/local
words.txt(运行 mapreduce 作业的示例 word 文件):/usr/local
mapper.py(mapper 文件)和 reducer.py(reducer 文件):/usr/local
hdfs 中的 words.txt:/wordcount
创建文件
touch words.txt
在 hdfs 中制作目录
hadoop fs -mkdir -p /wordcount
将测试文件从本地目录复制到 hdfs
hadoop fs -copyFromLocal