此工具箱包含用于计算以下数量的离散随机变量的函数： 1)熵2)联合熵3）条件熵4）相对熵（KL散度） 5)相互信息6）归一化互信息7)归一化变异信息这个包现在是 PRML 工具箱的一部分 ( http://www.mathworks.com/matlabcentral/fileexchange/55826-pattern-recognition-and-machine-learning-toolbox )。

- 输入2个变量，即可计算出2个变量之间的KL散度 - 并且绘制了2个变量各自的变量样本图和概率密度分布图 - 注释完整

-输入2个变量，即可计算出2个变量之间的KL散度 -并且绘制了2个变量各自的变量样本图和概率密度分布图 -注释完整

KL散度估算器 通常在两个概率分布之间定义。 在仅概率分布的样本可用的情况下，可以多种方式估计KL散度。 在这里，我测试了基于k最近邻概率密度估计的KL散度估计器的一些实现。 估计值是 Wang Wang，Sanjeev R. Kulkarni和SergioVerdú。 “通过k最近邻距离对多维密度进行散度估计。” 信息论，IEEE Transactions on 55.5（2009）：2392-2405。 从各种测试分布中抽取样本，并计算它们之间的估计KL散度。 通过对分布重新采样并重新计算100次方差估计来评估不确定性。 然后，将不确定度带作为间隔，该间隔包含最接近中位数的68％的重采样估计值。 提供的时间是在样本大小为N = 1000， k = 5的情况下计算所有100个重采样所花费的时间。 这项研究远非详尽无遗，而且时间对实施细节很敏感。 请带一点盐。 估算器实现 naiv

nmf的matlab代码bnmf 贝叶斯NMF工具包（BNMF-Tool）为Matlab中的KL发散实现了贝叶斯NMF。 贝叶斯NMF工具箱（BNMF-Tool）实现了针对以下方面的KL散度的贝叶斯NMF： N. Mohammadiha，P。Smaragdis和A. Leijon，“使用非负矩阵分解的有监督和无监督语音增强方法”，IEEE Trans。 音频，语音和语言处理，第1卷。 21号10，第2140–2151页，2013年10月： 该实现基于包含所有相关功能的NMF类（@NMF）。 在demo.m中演示了该类的用法，其中BNMF用于建议的有监督和无监督降噪。在Matlab中运行演示时，请确保包含@NMF的目录在Matlab搜索路径中。 阅读用户指南文件以获取代码说明。

香农在1948年在《通信的数学理论》里面提出了bit用来计算信息的度量并且提出了香农熵的计算公式，在这将这篇文章分享给大家，关于信息熵的那一部分重要内容，可以参考个人博客，在博客中给出了部分摘录和补充。

此函数计算具有指定参数（均值和协方差矩阵）的两个多元高斯分布之间的Kullback-Leibler（KL）散度。 协方差矩阵必须是正定的。 该代码高效且数值稳定。 例子： 1）计算两个单变量高斯之间的KL散度：KL（N（-1,1）|| N（+1,1）） mu1 = -1; mu = +1; s1 = 1； s2 = 1； mvgkl（mu1，s1 ^ 2，mu2，s2 ^ 2） 2）计算两个二元高斯变量之间的KL散度：KL（N（mu1，S1）|| N（mu2，S2）） mu1 = [-1 -1]'； mu2 = [+1，+1]'; S1 = [1 0.5; 0.5 1]; S2 = [1- -0.7; -0.7 1]； mvgkl（mu1，S1，mu2，S2）

两个高斯分布之间的 Kullback-Leibler 散度

衡量两个概率分布P(x);Q(x) 的距离 包括 Kullback–Leibler divergence和Jensen–Shannon divergence

平均场理论，变分法，贝叶斯推断，EM 算法，KL 散度，变分估计，变分消息传递