降维算法
一,介绍
在高维层次下会出现数据样本稀疏,距离计算困难等问题,是所有机器学习方法面临的严峻考验,称为“维数灾难”(维数诅咒)。 ,即通过某种数学变换将数据映射到一个低维空间,在这个低维空间里,数据的密度大大地提高,距离计算更加容易。
二,分类
降维算法可以按照是否有监督,变换是否是线性的细分四类:
无监督的线性降维算法,某种
无监督的非线性降维算法,某些 , , ,
有监督的线性降维算法,某种
有监督的非线性降维算法(缺)
注意:此处线性指的是高维空间->低维空间是线性的。MDS,Isomap是将一个非线性降维变换的转化问题转化为一个线性代数问题,其本身并不是线性的降维算法。
三,总结
在大部分实际应用情况下,数据降维是作为后续任务的一个预处理步骤,需要通过比较降维后学习器的效果来对一个具体的任务使用某种降维算法。
流形学习中的ISOMAP,LLE等算法非常依赖建图的质量
2021-11-13 17:08:00
1.93MB
Python
1