离散信源的平均信息量(熵)
----------指每个符号所含信息量的统计平均值。
设离散信源是由一个M符号组成的集合,其中每个符号xi(i=1,2..M)按一定概率p(xi)独立出现,即
,且有
则x1, x2.. xn 所包含的信息量分别为:-log2 P(x1), -log2 P(x2),…-log2 P(xn)。 ,
则该信源的平均信息量为:H(x)=p(X1)I1+P(X2)I2+P(X3)I3+
比特/符号(bit/symbol)
显然,等概时,熵有最大值:
即等于每个符号的信息量。
1