近年来,Internet的发展使全球数据量快速增长,大数据时代的到来给传统计算带来了巨大挑战。 大数据系统(例如hadoop,spark)正成为处理大数据的重要平台,但是由于大数据应用程序本身的设计缺陷以及不合理的分布式框架配置,因此难以实现大数据系统中应用程序的性能。计算机理论的最高速度,因此如何定位大数据系统的性能瓶颈并分析瓶颈原因。值得研究。 本文提出了大数据系统的5层性能评估模型,为性能分析提供了可靠的基础,同时,提出了大数据系统的性能优化模型,可以弥补性能瓶颈。位置和瓶颈分析,并进一步优化性能。 基于这两个性能模型,实现了一个基于事件的性能工具来分析性能数据。 实验结果表明,这两个性能模型对大数据系统的性能评估和优化有效,可将大数据系统的平均运行时间缩短19%。
1