上传者: 38688906
|
上传时间: 2022-05-05 16:13:12
|
文件大小: 292KB
|
文件类型: ZIP
matlab复变函数指数函数代码set-mifs
基于集合互信息的Matlab特征选择算法的Matlab实现
介绍
在文献中已经提出了使用互信息(MI)来确定模式识别任务中特征的显着性的思想的许多变体。
但是,它们有其局限性:在变量对之间计算MI不能捕获变量组之间更复杂的交互,而对于大于2的特征空间子集计算MI很快就变得难以计算。
确实,一些作者(参见Kwak&Choi,2002)已经简要概述了基于全集的互信息算法,只是将其从计算上抛在一边,以至于在实践中是不可能的。
此处实现的算法是一种计算组的MI的快速方法,可完全解决计算难点。
算法
该算法基于两个简单的数学事实:
在内射(一对一)函数下,互信息不变,即对于任意变量U和V,对于任何内射函数g,I(U;
V)=
I(U;
g(V))
内射功能的组合本身就是内射功能。
本质上,此算法将多个注入函数应用于特征空间,以达到可以以其他方式无法实现的效率进行处理的表示形式。
与蛮力方法的指数复杂度形成鲜明对比的是,该算法的总复杂度相对于数据点数量而言是次二次的,相对于特征数量而言是线性的。
下图给出了步骤的实际示例:
Lampen(2004)