信道编码定理的slide，深入浅出的介绍了信道编码定理

费诺不等式的物理意义 虽然PE与译码规则有关，但不管采用什么译码规则费诺不等式均成立。 费诺不等式表示，当作了一次译码判决后所保留的关于信元的不确定性可以分成两部分： H(PE)和PE log(n-1)。 第二部分是当判决是错误的，其错误概率为PE　时，到底是n-1个输入符号中哪一个引起错误的最大不确定性，它是(n-1)个符号不确定性的最大值log(n-1)与PE　的乘积。 第一部分是接收到Y后，判决是否发生错误的不确定性H(PE)，其中H(PE )是译码平均错误概率PE　的熵，表示产生错误概率PE　的不确定性。

最大似然译码准则-例题 当输入为等概率分布时，译码规则A就是依据最大似然译码准则而得的。

matlab USTC 信息论 A 简单信道编码定理实现 channel coding 课程作业codes 课程作业codes 课程作业codes