svm详解-详细介绍SVM原理、应用、并证明.

详细介绍SVM原理、应用、并证明. 目录 1 第一层：了解 SVM 4 1.1 分类标准的起源：Logistic 回归 . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 线性分类的一个例子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 函数间隔 Functional margin 与几何间隔 Geometrical margin . . . . . . . 8 1.4 最大间隔分类器 Maximum Margin Classifier 的定义 . . . . . . . . . . . . 9 2 第二层：深入 SVM 12 2.1 从线性可分到线性不可分 . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.1.1 从原始问题到对偶问题的求解 . . . . . . . . . . . . . . . . . . . . . 12 2.1.2 K.K.T. 条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.1.3 对偶问题求解的 3 个步骤 . . . . . . . . . . . . . . . . . . . . . . . 14 2.1.4 线性不可分的情况 . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2 核函数：Kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.1 特征空间的隐式映射：核函数 . . . . . . . . . . . . . . . . . . . . . 18 2.2.2 核函数：如何处理非线性数据 . . . . . . . . . . . . . . . . . . . . . 19 2.2.3 几个核函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.2.4 核函数的本质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3 使用松弛变量处理 outliers 方法 . . . . . . . . . . . . . . . . . . . . . . . . 24 3 证明 SVM 29 3.1 线性学习器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.1.1 感知器算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2 非线性学习器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.2.1 Mercer 定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.3 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.4 最小二乘法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.4.1 什么是最小二乘法？ . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.4.2 最小二乘法的解法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.5 SMO 算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.5.1 SMO 算法的推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.5.2 SMO 算法的步骤 . . . . . . . . . . . . . . . . . . . .