1. 梯度下降算法： 2. 特征和多项式回归（Features and Polynomial Regression）：有的时候某些有关系的特征可以联系起来用一个

------------：）----------采用MATLAB语言编程，基于梯度下降法实现多元线性回归模型，并与正规方程计算结果进行对比。

梯度下降法是机器学习算法更新模型参数的常用的方法之一。 相关概念 梯度 : 表示某一函数在一点处变化率最快的方向向量(可理解为这点的导数/偏导数) 样本 : 实际观测到的数据集，包括输入和输出(本文的样本数量用 m 表述,元素下标 i 表示) 特征 : 样本的输入(本文的特征数量用 n 表示,元素下标 j 表示) 假设函数 : 用来拟合样本的函数，记为 $ h_θ(X) (θ 为参数向量, X 为特征向量)$ 代价函数 : 用于评估模型拟合的程度，训练的目标是最小化代价函数，记为 J(θ)J(θ)J(θ) 通过代价函数使得假设函数更好的拟合给定数据 线性假设函数 : $ h_θ(X) = θ_

使用正规方程组的方法实现最小二乘： 1、 方程组Ax=b，其中A为m行n列的系数矩阵，其转置矩阵为n行m列的矩阵，使A的转置矩阵和A自身相乘可得到一个ｎ行ｎ列的系数矩阵，同时等号右侧也让A的转置矩阵和n维的向量b相乘，从而得到一个同解的新的方程组，假设新的方程组表示为A_T*A*x=A_T*b。 2、 得到的新的方程组可使用楚列斯基分解的方法求解。首先，使用楚列斯基分解将新方程组的系数矩阵A_T*A分解为一个下三角矩阵和其转置矩阵的乘积，然后依次利用前代和回代的方法，即可求解出新的方程组的解。 3、 由于转换后得到的新方程组与原方程组同解，所以得到的解即为最终所求解。

MATLAB 实现线性回归算法代码，运用了三种方法，包括批梯度下降，随机梯度下降，和解正规方程组，代码有注释。