视频码流是经过高效压缩的数据,其比特流之间的相关性非常强,因此对误 码或数据丢失很敏感。在分组网络通信中,由于因特网只能提供“尽力服务”, 因此分组丢失不可避免。这样,在网络视频通信中纠错控制的重要性不言而喻。 本论文重点研究应用于视频的纠删码算法,首先阐述了纠删码的研究背景和 进展,详细介绍了RS码、Tomado码、LT码和RaPtor码的编解码方法、编解码 复杂度及性能。然后,提出并实现了一种卷积式 Tomado码,把分组Tomad。码 偶图变换成卷积式偶图,并用该偶图对数据分组进行编解码,卷积式Tomado码 增强了编码数据分组之间的相关性,能够有效地抗网络突发丢包。接下来,提出 了一种基于FEC的选择重传方法,对于线性FEC只要接收到的数据分组可以线 性表示全部源数据分组,解码器就可以恢复所有丢失的数据分组,根据线性FEC 的这个特点,对解码失败时偶图对应的矩阵进行列变换,找到需要重传的数据分 组序号。另外,本论文还给出了一种适用于重传的数据封装结构,该结构中含有 两种类型:一种为含有重传分组序号信息的数据结构,另一种为含有视频数据的 数据结构。利用该数据结构的视频传输系统简单易实现。 最后,利用论文中给出的FEC和重传算法,实现具有抗分组丢失能力的视频 通信系统,同时验证了卷积式Tomad。码和基于FEC的选择重传方法。实验结果 表明,本论文提出的卷积式Tomado码和基于FEC的选择重传方法能有效提高视 频通信的质量,而且算法复杂度低,可用于实际视频通信系统中。
1
erasure code可以认为是RAID的通式,任何RAID都可以转换为特定的erasure code。在传统的RAID中,仅支持少量的磁盘分布,当系统中存在多个分发点和多节点时,RAID将无法满足需求。比如RAID5只支持一个盘失效,即使是RAID6也仅支持两个盘失效,所以支持多个盘失效的算法也就是erasure code是解决这一问题的办法。
2023-04-19 13:36:41 6KB fec erasure code
1
在HDFS中,可靠性通过多副本的方式来实现,从而较低的存储利用率成为时下基于HDFS应用的主要问题之一。本文将详细介绍HDFS一个新的特性——ErasureCoding(EC),它在保证同等(或者更高)可靠性的情况下将存储利用率提高了近一倍。近些年,随着大数据技术的发展,HDFS作为Hadoop的核心模块之一得到了广泛的应用。然而,随着需要存储的数据被越来越快的产生,越来越高的HDFS存储利用率要求被提出。而对于一个分布式文件系统来说,可靠性必不可少。因此,在HDFS中每一份数据都有两个副本,这也使得存储利用率仅为1/3,每TB数据都需要占用3TB的存储空间。因此,在保证可靠性的前提下如何提高
2022-07-05 10:55:27 402KB HDFSEC:将纠删码技术融入HDFS
1
对双容错RDP(row diagonal parity)码进行了扩展,提出了一种基于X-RDP阵列码3容错的数据分布策略。利用X-RDP码的代数定义,从理论上证明了X-RDP码具有MDS编码特性。并采用不同斜率几何直线图描述编译码过程,易于软硬件实现。与其他数据分布策略进行比较,理论分析结果表明,X-RDP码的空间利用率、编译码效率、小写性能以及平衡性的综合性能达到最优,具有实用价值。
2022-06-18 16:44:02 1.39MB 编码 纠删码 RDP码 数据布局 磁盘阵列
1
C++实现,RS码与LDPC码 功能:k,r自主输入,随机生成数据,完成编码,产生错误,纠错译码的过程。
2022-03-03 18:07:50 4KB C++ 分布式存储 纠删码 RS码
1
Ceph 在今天有多火就不⽤多说了吧。正如许多分布式存储那样,三副本的容量利利 用率始终是个问题,特别是对于海量⾮结构化数据和冷存储这些在意性价比的应用来说。相比之下,纠删码(Erasure Code)能够提供接近于本地 RAID 5/6 的有效磁盘空间,代价是牺牲了性能。纠删码在随机写⼊,特别是改写和重构(Rebuild)时产生的 I/O 惩罚较大,对应的集群网络流量比副本保护模式要大。 那么 Ceph 使⽤用纠删码在各种情况下的性能都⽐比三副本要低吗?答案是否定的。如果您 还⼼心存疑问,请看本⽂文分解。
2021-12-22 16:47:31 2.54MB Ceph 分布式存储 纠删码 副本
1
芦苇所罗门擦除 Reed-Solomon纠删码的Rust实现 也可以使用WASM构建,有关详细信息,请参见下面的WASM使用部分。 这是, 和。 1.XX版复制了BackBlaze的实现,并且性能较低,因为可以添加并行性的位置更少。 版本>= 2.0.0复制了Klaus Post的实现。 SIMD C代码是从Nicolas Trangez的实现复制而来,并做了一些小改动。 有关详细信息,请参见“和部分。 WASM用法 详情请看 防锈用法 将以下内容添加到您的Cargo.toml中作为普通版本(纯Rust版本) [ dependencies ] reed-solomon-erasure = " 4.0 " 或以下尝试使用SIMD的版本 [ dependencies ] reed-solomon-erasure = { version = " 4.0 " , features =
2021-11-08 22:49:58 60KB rust reed-solomon erasure-coding Rust
1
一个小巧而强大的伽罗华域的运算,实现有限域上的加减法,乘法,除法,指数等运算。采用二维查表法。常用的函数均采用宏定义,运算速度极快,适合应用于大数据的编码和解码。可广泛应用于纠删码,网络编码等领域。
2021-09-27 17:01:50 4KB 纠删码 网络编码 有限域
1
行业分类-设备装置-一种基于写重定向的纠删码存储重构优化方法.zip
存储布局方式3基于HDFS模块的扩展NameNode扩展块组依旧用类Block来表示一个块ID有64位这里将第1个位作为flag来区分块的类型如果为1则为EC块条形布局的EC块连续布局将在第二阶段考虑
2021-08-19 17:32:15 580KB hadoop 3.0 纠删码
1