为了提高大数据文件的存取效率，满足各类用户的需求，通常采用对该文件进行分块、冗余副本等机制进行存储，关于设置块大小、副本个数和块部署等存储机制的研究一直是该领域研究重点．根据用户对内容块兴趣需求，我们定义了数据块的热度并提出了一种满足用户需求的存储数据块的最小服务成本策略（ＭＣＳＢ）．在成本矩阵的基础上，通过引入与数据块热度相关的成本矩阵调整因子，使得热度较低的数据块被优先部署，实现了在不改变存储数据块的最小服务总成本的情况下，内容存取服务性能的提高．基于该策略，以Ｈａｄｏｏｐ中的缺省数据块存储策略为控制组，通过在ＨＤＦＳ系统中实现ＭＣＳＢ，并对ＭＣＳＢ进行了较为详细的分析．实验结果显示ＭＣＳＢ策略能够在满足最小服务成本的情况下，具有更短的系统平均响应时间．进一步考虑到数据存储节点由服务器集群承担的事实，对基于不同负载下的数据存储策略进行了深入探讨，在分析现有机制对性能影响的基础上，给出了一种自适应的数据节点内的存储数据块的最小服务成本策略ＡＭＣＳＢ，实验表明，本文所提出的ＡＭＣＳＢ策略能够在降低服务成本的同时，有利于系统的负载均衡，并提高该系统的服务性能．
2021-03-16 14:07:08
798KB
1