Thomas Cover 经典教材
Elements of Information Theory 2nd Editio
2023-09-16 08:11:45
10.17MB
1
在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。
在信息世界中，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。
自信息：
1、自信息表示事件发生前，事情发生的不确定性
2、自信息表示事件发生后，事件所包含的信息量，是提供给新宿的信息量，也是解除这种不确定性所需要的信息量。
互信息：
离散随机事件之间的互信息：
事件x,y之间的互信息等于“x的自信息”减去“y条件下x的自信息”，I(x)表示x的不确定性，I(x|y)表示在y发生条件下，x的不确定性
I(x;y)表示当y发生后x不确定性的变化，两个不确定度之差，是不确定度消除的部分，代表已
2023-06-08 09:07:40
76KB
1
英语信源熵实验。搜集10段英文文献，每段1万个字符以上，文献不要相关性太强
（1）预处理：把大写字母改写为小写（后面统计不分大小写），去掉标点符号、换行、回车等符号（全部用1个空格代替），去掉连续空格；
（2）计算信源熵：统计26个字母和空格符，共27个符号的概率，计算信源熵H1；
（3）H2熵：统计字符出现的一阶条件概率，计算H2熵；并和课本上的做一下对比。
（4）利用信源概率、一阶马尔科夫概率（H2）分别随机生成一段英文序列，对比生成序列的可读性。
要求：10段文献分别做，对比（2）（3）（4）步的结果；附上代码，做好注释。
资源带有源代码以及论文，详细讲述了代码如何实现以及运行过程。
2023-04-18 17:18:16
2.26MB
1