我们开发实现了新型的基于容错编码的分布文件系统Raid Distributed File System (RDFS)。创新的特色包括:高度可靠性、高可用性、低存储开销。
(1)并行编解码:显著提升了编码与解码的速率。已有的串行编码方式通常是系统的读写瓶颈。而实验显示并行优化后的编码方案不再成为系统的性能瓶颈。与串行编码相比,并行编码的加速比通常大于3。
(2)基于网络拓扑的树结构数据修复:达到低网络开销的目的。树结构重建降低了网络资源的利用率,与传统的星型修复技术相比,资源消耗降幅达20%~30%。修复速率提升了15%~20%。
(3)面向同时多数据修复的一对多修复方案:在多节点失效时有效修复数据。与逐个修复失效节点的星型结构相比,修复速率提升了30%。
(4)基于网络拓扑的线型数据修复:在部分块失效时的数据修复读取速率得到显著优化。与传统的星型修复相比,读取速率增加了50%~100%。
上述技术并不要求特别的编码方案,能够在大多数已有的编码方案下正常工作,因此具有较好的普遍适用性。
更多信息联系:xiaoqiangpei@nudt.edu.cn, xufangliang@nudt.edu.cn, wwyyjj1971@vip.sina.com, quanyongf@gmail.com
标签:RDFS
2021-06-27 21:50:58
16.32MB
开源项目
1