目录 1. 一般最小二乘法 3 1.1. 一次计算最小二乘算法 3 1.2. 递推最小二乘算法 3 2. 遗忘因子最小二乘算法 6 2.1. 一次计算法 6 2.2. 递推算法 6 3. 限定记忆最小二乘递推算法 9 4. 偏差补偿最小二乘法 11 5. 增广最小二乘法 13 6. 广义最小二乘法 15 7. 辅助变量法 17 8. 二步法 19 9. 多级最小二乘法 21 10. Yule-Walker辨识算法 23 Matlab程序附录 24 附录1、最小二乘一次计算法 24 附录2、最小二乘递推算法 25 附录3、遗忘因子最小二乘一次计算法 26 附录4、遗忘因子最小二乘递推算法 27 附录5、限定记忆最小二乘递推算法 29 附录6、偏差补偿最小二乘递推算法 31 附录7、增广最小二乘递推算法 32 附录8、广义最小二乘递推算法 34 附录9、辅助变量法 36 附录10、二步法 38 附录11、多级最小二乘法 39 附录12、Yule-Walker辨识算法 42

可以对光谱数据进行预处理，除了偏最小二乘法之外，也有一些其他方法

正交最小二乘拟合直线，优点：比最小二乘法拟合的直线更准确，正交最小二乘考虑到了xy两个方向的误差，最小二乘只考虑了y方向的误差

该工具箱主要用于商业用Matlab软件包使用。Matlab的工具箱已经在不同的计算机体系结构编译和测试，包括Linux和Windows。大部分函数可以处理的数据集可高达20，000或更多点的数据。LS- SVMlab对Matlab接口包括一个适合初学者的基本版本，以及一个多类编码技术和贝叶斯框架的更先进的版本。

利用LSSVM对数据进行训练，然后可以进行分类和预测，包括LSSVM工具箱。

空间最小二乘法 (PLS) 是在各个领域中广泛使用的技术。 该包提供了使用非线性迭代偏最小二乘 (NIPALS) 算法执行 PLS 回归的函数。 它包含一个教程函数，用于解释 NIPALS 算法和使用 PLS 函数执行判别分析的方法。 全最小二乘回归和偏最小二乘回归的区别可以解释如下： 对于给定的独立数据 X 和相关数据 Y，拟合模型 Y = X*B + E 总最小二乘回归解决了最小二乘意义上的误差最小化问题： J = E'*E PLS 不是直接在 X 和 Y 之间拟合模型，而是首先将 X 和 Y 分解为低维空间（所谓的潜在变量空间）： X = T*P' + E0，和Y = U*Q' + F0 其中 P 和 Q 是正交矩阵，即 P'*P=I，Q'*Q=I，T 和 U 的列数相同，a 远小于 X 的列数。那么，a在 T 和 U 之间执行最小二乘回归： U = T*B + F

回归估计最小二乘支持向量机

偏最小二乘回归的线性与非线性方法(书.王惠文),非常经典，，推理细致准确

根据灰色理论(grey model，GM)所需原始数据少、建模简单、运算方便等优势，以及最小二乘支持向量机(least square support vector machine LS-SvM)所具有的泛化能力强、运算速度快、非线形拟合精度高、参数优化好、小样本等优点，建立了灰色理论和最小二乘支持向量机组合预测模型，并将此模型应用于灌区用水量预测中。预测结果与实际结果吻合良好，验证了所提出组合方法的有效性和实用性，可以作为灌溉用水量预测的有效工具。

利用最小二乘法 把离散的点拟合成多项式 多项式项数自己规定 取点可以根据实际需要跳跃取点