1、回归分析概括 目标值（因变量）是连续型数据，通过某种函数关系找到因变量和自变量之间的关系，进而预测目标。 常见的回归：线性回归、岭回归、非线性回归 回归拟合目标：计算自变量与因变量关系的函数参数 通过不断拟合缩小预测值与真实值的差距：最终使得这个差距（误差项）成为一组均值为0，方差为1的随机数。 2、损失函数 3、优化算法 使得损失函数值达到最小的方法。 方法： 正规方程 梯度下降 4、python的API 4.1.1 statsmodels.formula.api.OLS():普通最小二乘模型拟合- – 常用 4.1.2 scipy.stats.linregress(): 线性拟合

svmtrain.m文件为支持向量机训练函数，通过调用可以得到支持向量机回归模型 svmsim.m文件支持向量机预测函数，用于预测 svmmain.m为主程序 svmyiwei.m为一维测试函数主程序 svmerwei.m为二维测试函数主程序 后两者没有涉及到数据归一化，在训练样本与测试样本划分时采用随机的方法，调用了随机划分函数randseparate

sure independence screening 的matlab代码。

matlab回归分析计算t统计量代码GlobalSearchRegression 抽象的 GlobalSearchRegression既是世界上最快的全子集回归命令（一种广泛的用于自动模型/特征选择的工具），也是开发针对机器学习和计量经济学算法的一致框架的第一步。 用Julia编写，它是命令的高性能计算版本（获取原始代码）。 在多核个人计算机中（我们将Threadripper 1950x构建用于基准测试），它的运行速度比原始Stata代码快3165倍，比著名的R-alternatives快197倍。 尽管如此，GlobalSearchRegression不仅着眼于执行时间，而且还着眼于将机器学习算法与计量经济学诊断工具逐步集成到友好的图形用户界面（）中，以简化令人尴尬的并行定量研究。 在机器学习环境（例如，专注于预测分析/预测准确性的问题）中，越来越多的“训练/测试”算法（其中许多在Julia中显示出非常有趣的性能）以比较替代结果并找到合适的模型。 但是，关注因果推理的问题需要五个重要的计量经济学特征：1）简约（避免使用非常大的理论模型）； 2）可解释性（用于因果推理，拒绝“直觉-损失

逐步回归方法的基本思想 对全部的自变量x1,x2,...,xp,按它们对Y贡献的大小进行比较，并通过F检验法，选择偏回归平方和显著的变量进入回归方程，每一步只引入一个变量，同时建立一个偏回归方程。当一个变量被引入后，对原已引入回归方程的变量，逐个检验他们的偏回归平方和。如果由于引入新的变量而使得已进入方程的变量变为不显著时，则及时从偏回归方程中剔除。在引入了两个自变量以后，便开始考虑是否有需要剔除的变量。只有当回归方程中的所有自变量对Y都有显著影响而不需要剔除时，在考虑从未选入方程的自变量中，挑选对Y有显著影响的新的变量进入方程。不论引入还是剔除一个变量都称为一步。不断重复这一过程，直至无法剔除已引入的变量，也无法再引入新的自变量时，逐步回归过程结束。

《Approximating Mutual Information by Maximum Likelihood Density Ratio Estimation》互信息在各种数据处理任务中是有用的，如特征选择或独立的组件分析..本文提出了一种基于密度比函数最大似然估计的相互信息逼近方法。我们的方法称为最大似然互信息（MLMI），具有几个有吸引力的特性，例如不涉及密度估计，它是一个单一的过程，全局最优解可以有效地计算，并且交叉验证可用于模型选择。数值实验表明，MLMI与现有方法相比具有较好的优越性。

二、线性回归的适用条件 线性趋势：即自变量与因变量的关系是线性的。 独立性：因变量Y的取值相互独立。反映在方程中即残差独立。 正态性：即自变量的任何一个线性组合，Y应该服从正态分布。反映在方程中即残差Ei服从正态分布。 方差齐性:自变量的任何一个线性组合，Y的方差相同。

当面临许多变量时，很自然的要进行变量的初次筛选，以便减缓后续的建模计算压力。本文提出了一种新的有效的变量选择方法，不依赖于模型的清晰指定，故而具有很大的灵活性与适应范围。

本课程主要讲述如何使用python进行线性回归与非线性回归分析，包括： 基于statsmodel的线性回归方法基于sklearn的线性回归方法基于Numpy的一元多项式非线性回归方法基于sklearn的多元多项式非线性回归方法基于scipy的通用曲线拟合非线性回归方法

该资源是基于应用回归分析（第四版）何晓群所做的课件