mapfileinputformat:MapFiles 的 Hadoop InputFormat,它在将任何内容传递给映射器之前过滤不相关的 FileSplits-源码

上传者: 42137032 | 上传时间: 2021-07-12 10:03:20 | 文件大小: 15KB | 文件类型: ZIP
映射文件输入格式 MapFiles 的 Hadoop InputFormat,它在将任何内容传递给映射器之前过滤不相关的 FileSplits。 目的 假设您的文件系统中有一些带有排序键的非常大的文件,并且键已排序。 在编写 MapReduce 作业时,您有时可能只想使用输入数据的一小部分。 通常的方法是编写一个只处理相关记录的映射器。 但是,如果您必须跳过大量数据,这可能会导致显着的减速,尤其是在必须从其他节点传输大量数据的情况下。 此 MapFileInputFormat 仅检查 InputSplit 的第一个和最后一个键以快速确定此拆分是否相关,否则不输出任何内容。 用法 用法很简单。 就像任何其他输入格式一样使用它: job . setInputFormatClass( MapFileInputFormat . class); 当递归打开时,这也将起作用 - 默认的 Seq

文件下载

资源详情

[{"title":"( 11 个子文件 15KB ) mapfileinputformat:MapFiles 的 Hadoop InputFormat,它在将任何内容传递给映射器之前过滤不相关的 FileSplits-源码","children":[{"title":"mapfileinputformat-master","children":[{"title":"pom.xml <span style='color:#111;'> 2.23KB </span>","children":null,"spread":false},{"title":".settings","children":[{"title":"org.eclipse.m2e.core.prefs <span style='color:#111;'> 86B </span>","children":null,"spread":false},{"title":"org.eclipse.jdt.core.prefs <span style='color:#111;'> 238B </span>","children":null,"spread":false}],"spread":true},{"title":"src","children":[{"title":"test","children":[{"title":"java","children":[{"title":"com","children":[{"title":"github","children":[{"title":"rabejens","children":[{"title":"hadoop","children":[{"title":"io","children":[{"title":"format","children":[{"title":"MapFileRecordReaderTest.java <span style='color:#111;'> 4.41KB </span>","children":null,"spread":false},{"title":"MapFileInputFormatTest.java <span style='color:#111;'> 4.09KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true},{"title":"main","children":[{"title":"java","children":[{"title":"com","children":[{"title":"github","children":[{"title":"rabejens","children":[{"title":"hadoop","children":[{"title":"io","children":[{"title":"format","children":[{"title":"MapFileInputFormat.java <span style='color:#111;'> 7.70KB </span>","children":null,"spread":false},{"title":"MapFileRecordReader.java <span style='color:#111;'> 3.68KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true},{"title":".project <span style='color:#111;'> 653B </span>","children":null,"spread":false},{"title":".classpath <span style='color:#111;'> 998B </span>","children":null,"spread":false},{"title":".gitignore <span style='color:#111;'> 9B </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 1.72KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明