离散信源的平均信息量熵-数据通信复习

离散信源的平均信息量（熵） ----------指每个符号所含信息量的统计平均值。 设离散信源是由一个M符号组成的集合，其中每个符号xi(i=1,2..M)按一定概率p(xi)独立出现，即 ，且有 则x1, x2.. xn 所包含的信息量分别为：-log2 P(x1), -log2 P(x2)，…-log2 P(xn)。 ， 则该信源的平均信息量为:H(x)=p(X1)I1+P(X2)I2+P(X3)I3+ 比特/符号（bit/symbol） 显然，等概时，熵有最大值： 即等于每个符号的信息量。