1.3支持向量机国内外研究现状
SVM算法一经提出,就得到国内外学者的高度关注。学术界普遍认为它是继神经
网络之后一个新的研究方向。在短短的几年里,取得了一系列令人瞩目的研究成果。其
理论和应用在横向和纵向上都有发展。
理论上的发展主要如下:
(1)核函数的构造,如核主成分分析n0’111等。基于各个不同的应用领域,可以构造不
同的核函数,能够或多或少的引入领域知识。现在核函数广泛应用的类型有:多项式逼
近m1、贝叶斯分类器m3、径向机函数‘“Ⅲ1、多层感知器‘蚓等。
(2)SVM从两类问题向多类问题的推广Ⅱ"。以W色Stonn81在1998年提出的多类算法
为代表,在经典SVM理论的基础上,直接在目标函数上进行改进,重新构造多值分类
模型,建立K分类SVM。这类算法选择的目标函数十分复杂,变量数目过多,计算复
杂度也非常高,实现困难,所以只在小型问题的求解中才能使用。
(3)与目前其他机器学习方法的融合。如:最小二乘支持向量机n蚴1,这种方法是
在1999年被提出的,经过这几年的发展,已经应用到很多相关的领域。研究的问题已
经推广到:对于大规模数据集的处理;处理数据的鲁棒性;参数调节和选择问题等。
(4)与数据预处理(样本的重要度,属性的重要度,特征选择等方面)方法的结合,
将数据中脱离领域知识的信息即数据本身的性质融入SVM的算法中从而产生新的算
法。如粗糙集与SVM的结合口朝,利用粗糙集理论对数据的属性进行约简能在某种程度
上减少SVM求解计算量;再如分级聚类的SⅥⅥ瞰1,基于分级聚类和决策树思想构建多
类SVM,使用分级聚类的方法可以先把刀一1个距离较近的类别结合起来,暂时看作一
类,把剩下的一类作为单独的一类,分类后的下一步不再考虑这单独的一类,而只研究
所合并的刀一1类,再依次下去。
(5)SVM训练算法的探索,以提高SVM的计算速度,以便于处理大规模问题。、却11ik
在1995年提出了一种称为“chuI】舾ng’’的块算法乜引,即如果删除矩中对应La莎蛆ge乘
数为0的行和列,将不会影响最终结果。Osulla提出了一种分解算法啪搿1,应用于人脸
识别领域。Joacllil:IlS在1998年将Osulla提出的分解策略推广到解决大型SVM学习的算
法‘鹦’别中;P1a位于1998年提出了序贯最小优化‘剐(Sequential Minimal 0Iptimization)算法,
每次的工作集中只有两个样本。
(6)SVM的参数选择问题。参数选择是机器学习算法中一个重要的问题,SVM的
性能依赖于其核参数及惩罚系数的选取。最常用的方法是经验凑试法和格点法(吼d
Method)旧u,但这两种方法都是基于大量实验的,获得的参数通常也不是最优的;Chapelle
提出用梯度下降(Gradient Descer斌GD)法口列来完成SVM参数选择,Chen呦1和Zhengml
则采用不同的适应度函数,提出了两种基于遗传算法(Genetic舢gorithm,GA)的SVM参
数选择方法。
(7)SVM的模型选择标准。SVM的应用之所以不像神经网络那么广泛,除了其对大
样本问题求解速度慢以外,还有一个关键原因在于SVM的模型选择问题没有解决好。
1