Information theory answers two fundamental questions in communication theory: What is the ultimate data compression (answer: the entropy H), and what is the ultimate transmission rate of communication (answer: the channel capacity C). For this reason some consider information theory to be a subset of communication theory. We argue that it is much more. Indeed, it has fundamental contributions to make in statistical physics (thermodynamics), computer science (Kolmogorov complexity or algorithmic complexity), statistical inference (Occam’s Razor: “The simplest explanation is best”), and to probability and statistics (error exponents for optimal hypothesis testing and estimation)

Elements.of.Information.Theory.2nd

《信息论基础》（美）科弗（Cover，T.M.），（美）托马斯（Thomas，J.A.） 著

李亦农的，绝对全！！！！八章都有！！由于资源太大，分三次传的！！！！李亦农的压缩包!!!!

信息论基础，熵，联合熵，条件熵，互信息，交叉熵

信息论基础 chapter1 绪论 chapter2 离散信息的度量 chapter3 离散信源 chapter4 连续信息与连续信源 chapter5 无失真信源编码 chapter6 离散信道及其容量 chapter7 有噪信道编码 chapter8 波形信道 chapter9 信息率失真函数 chapter10 有约束信道及其编码 chapter11 网络信息论初步-1 chapter11 网络信息论初步-2 chapter12 信息理论方法及其应用

信息论与编码第一章信息论基础新.ppt

《数字通信原理》第4章 信息论基础.ppt

信息论基础教程.zip

信息论基础ppt课件.rar