论文研究-Hadoop中处理小文件的四种方法的性能分析.pdf
Hadoop的设计初衷是为了存储和分析大数据，其最擅长处理的是大数据集。但是在实际应用中，却存在着大量的小文件。一般情况下有四种处理海量小文件的方法，分别为默认输入格式TextInputFormat、为处理小文件而设计的CombineFileInputFormat输入格式、SequenceFile技术以及Harballing技术。为了比较在相同的Hadoop分布式环境下这四种技术处理大量小文件时的性能，选用了典型的数据集，利用词频统计程序，来比较四种小文件处理技术的性能差异。实验研究表明，在不同需求下处理大量小文件的时候，选用适当的处理方法能够在很大程度上提高大量小文件的处理效率。
文件下载
评论信息
其他资源
- C语言课程设计大作业-学生管理系统（含报告和源码）.zip
- 西门子s7_200污水处理项目实例
- Android-RunMap一个简单的运动跑步App
- DTI matlab 实现代码
- Python-钉钉自动上下班打卡辅助基于Pythonadb实现打卡后自动发送邮件提醒
- 智慧交通实战项目数据库
- openWrt系统USB接口3G4G网卡适配器驱动指引
- SM2246XT-JFL超频版
- Qt下gsoap访问webservice小程序
- 基于字级表示的多输出MPRM电路极性转换算法
- tomcat-embed-el-8.5.15.jar
- vagrant-docker-centos.zip
- 春节场景营销洞察.pdf
- 合肥工业大学《数据库结构》历年期末考试试卷.pdf
- Java 面向对象编程.pdf
- 操作系统 哲学家进餐进程算法
- 基于ASP.NET网上书店设计与实现
- linux版本微信
- svm gui安装该工具箱
- windows运行原理源代码进度条控件
- m2eclipse安装包
- 基于载波相位三差的航天器GPS_INS组合定姿算法
免责申明
【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【只为小站】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明