信息论电子版 课后习题解答
第1章 绪论
1—1 设英文字母E出现的概率为0.105,x出现的概率为0.002。试求E及x的信息量。
解:英文字母E的信息量为
=3.25bit
英文字母x的信息量为
=8.97bit
1—2 某信息源的符号集由A、B、C、D和E组成,设每一符号独立出现,其出现概率分别为1/4、l/8、l/8/、3/16和5/16。试求该信息源符号的平均信息量。
解:平均信息量,即信息源的熵为
=
=2.23bit/符号
1—3 设有四个消息A、BC、D分别以概率1/4、1/8、1/8和l/2传送,每一消息的出现是相互独立的,试计算其平均信息量。
解:平均信息量
=
=1.75bit/符号
...
1