这是机器学习中最常见的模型--线性回归的python实现，其中包含了最小二乘法和梯度下降法两种拟合算法

VB2015编写最小二乘法拟合回归程序含源码可绘图进行比较

自己写的最小二乘法程序，从Access数据库里读取一组数据，用散点图显示在窗体上，再用最小二乘法拟合直线。注释多。

最近由于项目的需要，将最小二乘法的java代码转换成了python。

最小二乘法的矩阵表示

解：求Ax=b的最小二乘解就是求 的极小点。由于 下面先给出两个需要用到的向量求导公式： （3-2-1） （3-2-2） 当A不时对称阵时，式（3-2-10）应该为 （3-2-3）

最小二乘法的基本原理和多项式拟合matlab实现.doc

采用最小二乘曲线拟合，可寻求有限测量数据及其伴随误差的变化规律。曲线拟合先确定拟合模型，再确 定函数的所属类。多项式拟合先将其化为双曲线、S型曲线、倒指数曲线、对数曲线等拟合曲线，再求解拟合多项式 系数。并用Matlab编制程序，对测量数据进行拟合与仿真。

直线拟合算法的代码，输入线段数据数组通过最小二乘法算法计算，算法源代码没有调用库，输出了直线的a，b系数以及r^2。个人习惯使用QT5，在QT5上写的代码，可以直接编译。

目录 1. 一般最小二乘法 3 1.1. 一次计算最小二乘算法 3 1.2. 递推最小二乘算法 3 2. 遗忘因子最小二乘算法 6 2.1. 一次计算法 6 2.2. 递推算法 6 3. 限定记忆最小二乘递推算法 9 4. 偏差补偿最小二乘法 11 5. 增广最小二乘法 13 6. 广义最小二乘法 15 7. 辅助变量法 17 8. 二步法 19 9. 多级最小二乘法 21 10. Yule-Walker辨识算法 23 Matlab程序附录 24 附录1、最小二乘一次计算法 24 附录2、最小二乘递推算法 25 附录3、遗忘因子最小二乘一次计算法 26 附录4、遗忘因子最小二乘递推算法 27 附录5、限定记忆最小二乘递推算法 29 附录6、偏差补偿最小二乘递推算法 31 附录7、增广最小二乘递推算法 32 附录8、广义最小二乘递推算法 34 附录9、辅助变量法 36 附录10、二步法 38 附录11、多级最小二乘法 39 附录12、Yule-Walker辨识算法 42