支持向量机国内外研究现状-tensorflow实现从txt文件读取数据

1．3支持向量机国内外研究现状 SVM算法一经提出，就得到国内外学者的高度关注。学术界普遍认为它是继神经 网络之后一个新的研究方向。在短短的几年里，取得了一系列令人瞩目的研究成果。其 理论和应用在横向和纵向上都有发展。 理论上的发展主要如下： (1)核函数的构造，如核主成分分析n0’111等。基于各个不同的应用领域，可以构造不 同的核函数，能够或多或少的引入领域知识。现在核函数广泛应用的类型有：多项式逼 近m1、贝叶斯分类器m3、径向机函数‘“Ⅲ1、多层感知器‘蚓等。 (2)SVM从两类问题向多类问题的推广Ⅱ"。以W色Stonn81在1998年提出的多类算法 为代表，在经典SVM理论的基础上，直接在目标函数上进行改进，重新构造多值分类 模型，建立K分类SVM。这类算法选择的目标函数十分复杂，变量数目过多，计算复 杂度也非常高，实现困难，所以只在小型问题的求解中才能使用。 (3)与目前其他机器学习方法的融合。如：最小二乘支持向量机n蚴1，这种方法是 在1999年被提出的，经过这几年的发展，已经应用到很多相关的领域。研究的问题已 经推广到：对于大规模数据集的处理；处理数据的鲁棒性；参数调节和选择问题等。 (4)与数据预处理(样本的重要度，属性的重要度，特征选择等方面)方法的结合， 将数据中脱离领域知识的信息即数据本身的性质融入SVM的算法中从而产生新的算 法。如粗糙集与SVM的结合口朝，利用粗糙集理论对数据的属性进行约简能在某种程度 上减少SVM求解计算量；再如分级聚类的SⅥⅥ瞰1，基于分级聚类和决策树思想构建多 类SVM，使用分级聚类的方法可以先把刀一1个距离较近的类别结合起来，暂时看作一 类，把剩下的一类作为单独的一类，分类后的下一步不再考虑这单独的一类，而只研究 所合并的刀一1类，再依次下去。 (5)SVM训练算法的探索，以提高SVM的计算速度，以便于处理大规模问题。、却11ik 在1995年提出了一种称为“chuI】舾ng’’的块算法乜引，即如果删除矩中对应La莎蛆ge乘 数为0的行和列，将不会影响最终结果。Osulla提出了一种分解算法啪搿1，应用于人脸 识别领域。Joacllil：IlS在1998年将Osulla提出的分解策略推广到解决大型SVM学习的算 法‘鹦’别中；P1a位于1998年提出了序贯最小优化‘剐(Sequential Minimal 0Iptimization)算法， 每次的工作集中只有两个样本。 (6)SVM的参数选择问题。参数选择是机器学习算法中一个重要的问题，SVM的 性能依赖于其核参数及惩罚系数的选取。最常用的方法是经验凑试法和格点法(吼d Method)旧u，但这两种方法都是基于大量实验的，获得的参数通常也不是最优的；Chapelle 提出用梯度下降(Gradient Descer斌GD)法口列来完成SVM参数选择，Chen呦1和Zhengml 则采用不同的适应度函数，提出了两种基于遗传算法(Genetic舢gorithm，GA)的SVM参 数选择方法。 (7)SVM的模型选择标准。SVM的应用之所以不像神经网络那么广泛，除了其对大 样本问题求解速度慢以外，还有一个关键原因在于SVM的模型选择问题没有解决好。