1．3支持向量机国内外研究现状 SVM算法一经提出，就得到国内外学者的高度关注。学术界普遍认为它是继神经 网络之后一个新的研究方向。在短短的几年里，取得了一系列令人瞩目的研究成果。其 理论和应用在横向和纵向上都有发展。 理论上的发展主要如下： (1)核函数的构造，如核主成分分析n0’111等。基于各个不同的应用领域，可以构造不 同的核函数，能够或多或少的引入领域知识。现在核函数广泛应用的类型有：多项式逼 近m1、贝叶斯分类器m3、径向机函数‘“Ⅲ1、多层感知器‘蚓等。 (2)SVM从两类问题向多类问题的推广Ⅱ"。以W色Stonn81在1998年提出的多类算法 为代表，在经典SVM理论的基础上，直接在目标函数上进行改进，重新构造多值分类 模型，建立K分类SVM。这类算法选择的目标函数十分复杂，变量数目过多，计算复 杂度也非常高，实现困难，所以只在小型问题的求解中才能使用。 (3)与目前其他机器学习方法的融合。如：最小二乘支持向量机n蚴1，这种方法是 在1999年被提出的，经过这几年的发展，已经应用到很多相关的领域。研究的问题已 经推广到：对于大规模数据集的处理；处理数据的鲁棒性；参数调节和选择问题等。 (4)与数据预处理(样本的重要度，属性的重要度，特征选择等方面)方法的结合， 将数据中脱离领域知识的信息即数据本身的性质融入SVM的算法中从而产生新的算 法。如粗糙集与SVM的结合口朝，利用粗糙集理论对数据的属性进行约简能在某种程度 上减少SVM求解计算量；再如分级聚类的SⅥⅥ瞰1，基于分级聚类和决策树思想构建多 类SVM，使用分级聚类的方法可以先把刀一1个距离较近的类别结合起来，暂时看作一 类，把剩下的一类作为单独的一类，分类后的下一步不再考虑这单独的一类，而只研究 所合并的刀一1类，再依次下去。 (5)SVM训练算法的探索，以提高SVM的计算速度，以便于处理大规模问题。、却11ik 在1995年提出了一种称为“chuI】舾ng’’的块算法乜引，即如果删除矩中对应La莎蛆ge乘 数为0的行和列，将不会影响最终结果。Osulla提出了一种分解算法啪搿1，应用于人脸 识别领域。Joacllil：IlS在1998年将Osulla提出的分解策略推广到解决大型SVM学习的算 法‘鹦’别中；P1a位于1998年提出了序贯最小优化‘剐(Sequential Minimal 0Iptimization)算法， 每次的工作集中只有两个样本。 (6)SVM的参数选择问题。参数选择是机器学习算法中一个重要的问题，SVM的 性能依赖于其核参数及惩罚系数的选取。最常用的方法是经验凑试法和格点法(吼d Method)旧u，但这两种方法都是基于大量实验的，获得的参数通常也不是最优的；Chapelle 提出用梯度下降(Gradient Descer斌GD)法口列来完成SVM参数选择，Chen呦1和Zhengml 则采用不同的适应度函数，提出了两种基于遗传算法(Genetic舢gorithm，GA)的SVM参 数选择方法。 (7)SVM的模型选择标准。SVM的应用之所以不像神经网络那么广泛，除了其对大 样本问题求解速度慢以外，还有一个关键原因在于SVM的模型选择问题没有解决好。

主要介绍了Python实现的简单线性回归算法,结合实例形式分析了线性回归算法相关原理、功能、用法与操作注意事项,需要的朋友可以参考下

matlab中的MVAR模型代码S-MVAR Matlab 工具箱允许分析计算 VAR 模型的参数，探索稀疏回归和状态空间 (SS) 模型的组合方法。 具体而言，研究的方法是：普通最小二乘分析、LASSO 回归、弹性网络回归、融合 LASSO 回归和稀疏组 LASSO 回归。 然后为多变量随机过程计算条件格兰杰因果关系 (cGC)，详细说明 [1]-[2]-[3]-[4]-[5] 中提供的结果。 [1]- Antonacci, Y.; 米纳蒂，L.； Faes L.; 珀尼斯 R.; 诺洛 G,; J.Toppi，A.Pietrabissa； 阿斯托尔菲L.; 通过人工神经网络估计 Granger 因果关系：在生理系统和混沌电子振荡器中的应用，PeerJ 计算机科学 2020，子。 [2]-Faes, L.; 马里纳佐，D.； Stramaglia, S. 多尺度信息分解：多元高斯过程的精确计算。 熵 2017, 19, 408。 [3]-巴内特，L.； Seth，状态空间模型的 AK Granger 因果关系。 物理。 修订版 E 2015, 91, 040101。 [4]-Anto

主要介绍了8种用Python实现线性回归的方法对比详解，说到如何用Python执行线性回归，大部分人会立刻想到用sklearn的linear_model，但事实是，Python至少有8种执行线性回归的方法，sklearn并不是最高效的,需要的朋友可以参考下

以下是版本 8 Mplus 用户指南的摘录。第 3 章 - 第 13 章包括 250 多个示例。这些示例还包含在 Mplus DVD 上以及生成数据的相应蒙特卡罗模拟设置中。 第一章：导言 第 2 章：开始使用 Mplus 第 3 章：回归和路径分析视图示例 第四章：探索性因素分析视图示例 第五章：确认因子分析和结构方程建模视图示例 第 6 章：生长建模、生存分析和 N=1 时间序列分析视图示例 第 7 章：具有横截面数据视图示例的混合建模 第 8 章：采用纵向数据视图示例的混合建模 第 9 章：具有复杂调查数据视图示例的多层建模 第10章：多层次混合建模视图示例 第11章：缺少数据建模和贝叶斯估计视图示例 第12章：蒙特卡洛模拟研究查看示例 第13章：示例：特殊功能 第14章：特殊建模问题 第 15 章：标题、数据、变量和定义命令 第16章：分析命令 第17章：MODEL命令 第 18 章：输出、保存数据和绘图命令 第19章：蒙特卡洛命令 第20章：Mplus语言摘要 引用/索引

本文档存放逻辑回归中训练和测试数据，具体内容请看博客~

此例程将向量自回归 (VAR) 的参数估计映射到相应移动平均 (MA) 模型的参数估计中。 此函数的输出可用于构建 VAR 模型的结构脉冲响应函数。

The theory and methods of smoothing have been developed mainly in the last ten years. The intensive interest in smoothing over this last decade had two reasons: statisticians realized that pure parametric thinking in curve estimations often does not meet the need forexibility in data analysis and the development of hardware created the demand for theoryof now computable nonparametric estimates.

coursera华盛顿大学机器学习专项第二门课第四周习题

回归系数的检验—t检验