关于求熵、相对熵、互信息的C语言一般算法，好资源大家共享！ 关于求熵、相对熵、互信息的C语言一般算法，好资源大家共享！

一、实验目的： 1．复习MATLAB 的基本命令，熟悉MATLAB 下的基本函数。 2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。 二、实验内容与原理：实验内容：1．能够写出MATLAB 源代码，求信源的信息熵。 2．根据图像熵基本知识，综合设计出MATLAB 程序，求出给定图像的图像熵。

《机器学习》决策树学习笔记，根据数据集生成决策树，并以json格式存储。目前没有做可视化展示部分，需要以后完善

香农信息熵的计算(例1和例2分别为两种不同类型的输入)以及互信息的计算（例3）。其中log默认为自然对数。 #例1： 计算香农信息熵（已知概率分布） #例2： 计算香农信息熵（此时给定了信号发生情况) #例3： 计算互信息（输入：给定的信号发生情况,其中联合分布已经手工给出)

用matlab写的一个求决策属性信息熵的小程序

数据挖掘信息熵问题，里面有相应的算法代码。

探讨了贪心及其改进算法、基于属性重要性、基于信息熵和基于聚类四类连续属性离散化算法，并通过实验验证这四类算法的离散化效果。实验结果表明，数据集离散化的效果不仅取决于使用算法，而且与数据集连续属性的分布和决策数据值的分类也有密切关系。

连续值信息熵MATLAB代码NMI Octave 和 R 函数用于计算二进制信号的归一化多信息（互信息的多元版本）。 版权所有 2016 Kenneth Ball 根据 Apache 许可，2.0 版（“许可”）获得许可； 除非遵守许可，否则您不得使用此文件。 您可以在以下网址获取许可证副本 http://www.apache.org/licenses/LICENSE-2.0 除非适用法律要求或书面同意，否则根据许可分发的软件是按“原样”分发的，没有任何类型的明示或暗示的保证或条件。 请参阅许可证以了解管理许可证下的许可和限制的特定语言。 如果您使用或修改这些功能之一，请参考以下论文： Kenneth R. Ball、Christopher Grant、William R. Mundy、Timothy J. Shafer，用于不断增长的神经网络的互信息的多元扩展，神经网络（2017 年），印刷中。 依赖项：Octave/MATLAB 版本：NONE R 版本：pracma（必需）、编译器（可选） nmi.m 是一个 Octave/MATLAB 函数，用于计算二进制值信号的归一化多信息

基于广义局部曲率模态信息熵和BP神经网络的结构损伤识别方法.pdf