关于求熵、相对熵、互信息的C语言一般算法，好资源大家共享！ 关于求熵、相对熵、互信息的C语言一般算法，好资源大家共享！

《Approximating Mutual Information by Maximum Likelihood Density Ratio Estimation》互信息在各种数据处理任务中是有用的，如特征选择或独立的组件分析..本文提出了一种基于密度比函数最大似然估计的相互信息逼近方法。我们的方法称为最大似然互信息（MLMI），具有几个有吸引力的特性，例如不涉及密度估计，它是一个单一的过程，全局最优解可以有效地计算，并且交叉验证可用于模型选择。数值实验表明，MLMI与现有方法相比具有较好的优越性。

针对回归问题中存在的变量选择和网络结构设计问题, 提出一种基于互信息的极端学习机(ELM) 训练算法, 同时实现输入变量的选择和隐含层的结构优化. 该算法将互信息输入变量选择嵌入到ELM网络的学习过程之中, 以网络的学习性能作为衡量输入变量与输出变量相关与否的指标, 并以增量式的方法确定隐含层节点的规模.在Lorenz、Gas Furnace 和10 组标杆数据上的仿真结果表明了所提出算法的有效性. 该算法不仅可以简化网络结构, 还可以提高网络的泛化性能.

这个程序可以求出两个图像的互信息，在基于互信息的图像处理中，这个程序非常的重要。

[使用优化工具箱的二维互信息匹配] 这是新墨西哥大学的 Kateryna Artyushkova 编码的 IP 工具箱用户使用互信息更新的自动图像配准。 对象函数'image_registr_MI.m'最初是由人编码并由我修改的。 我使用优化工具箱为完整的图像配准添加了一个比例因子。 因此，运行此程序需要优化工具箱。 zip 文件包含三个文件。 - opti_MI_scaling.m % 主要代码- image_registr_MI.m % 对象函数- image.mat % 图像矩阵 在“image.mat”中，IM1 和 IM2 仅用于示例目的。 - IM1：230 X 230 MRI 8 位图像- IM2：512 X 512 CT 8 位图像 要运行此代码，请输入以下命令： >> x0=[50; 50; -15; 0.5]; >> [x, fval]=fminsear

% 使用简单的直方图方法计算 x 和 y 之间的互信息。 假设采用 % Jeffrey-Perks 定律（在 MI 估计之前向所有单元格添加 0.5）。 % 用法：MI = 互信息(x, y,nBins, ifplot) % 'nBins' : 每个维度的 bin 数量。 % 互信息：I(X;Y) = sum(sum(p(x,y)*log(p(x,y)/p(x)p(y))) % 见“信息论”（香农，1948） % 此代码的灵感来自： % Iskarous, K., Mooshammer, C., Hoole, P., Recasens, % D.、Shadle, CH、Saltzman, E. 和 Whalen, DH (2013)。 % "协调/不变性量表：互信息% 作为 coarticulation 阻力、 运动协同作用的量度， % 和发音不变性，”J. Acoust. Soc. Am

Estimating Mutual Information.pdf

互信息 I(X,Y) 衡量两个随机变量 X 和 Y 之间的依赖程度（根据概率论）。当 X 和 Y 相互独立时，Is 为非负且等于 0。 条件互信息 I(X,Y|Z) 是给定 Z 值的 I(X,Y) 的期望值。 首先对数据进行 copula 变换，然后使用高斯核估计边缘和联合概率分布。 可用于基因调控网络的构建和验证（参见例如http://www.biomedcentral.com/1471-2105/7/S1/S7 ）给定基因表达数据。 这个数量是稳健的，可以追踪数据中的非线性依赖和间接交互。

计算重叠互信息NMI源码 linux环境 参考文献：Lancichinetti A Fortunato S Kertész J Detecting the overlapping and hierarchical community structure in complex networks[J] New Journal of Physics 2009 11 3 : 033015

好的聚类：类内凝聚度高，类间分离度高。   本文介绍两种聚类评估方法，轮廓系数（Silhouette Coefficient）以及标准化互信息（NMI），并且用Python实现。 导航效果评估综述轮廓系数互信息参考文章 效果评估综述   这里直接贴上 聚类算法初探（七）聚类分析的效果评测   它摘自于中国科学院计算技术研究所周昭涛的硕士论文《文本聚类分析效果评价及文本表示研究》的第三章。建议先看看原文，可以对聚类评估有一个很好的了解。   综合来说，我们希望最终的聚类结果是：同一个簇内的点是紧密的，而不同簇之间的距离是较远的；同时，它也要与我们人工的判断相一致。   接下来介绍两种聚类评估方