使用正规方程组的方法实现最小二乘： 1、 方程组Ax=b，其中A为m行n列的系数矩阵，其转置矩阵为n行m列的矩阵，使A的转置矩阵和A自身相乘可得到一个ｎ行ｎ列的系数矩阵，同时等号右侧也让A的转置矩阵和n维的向量b相乘，从而得到一个同解的新的方程组，假设新的方程组表示为A_T*A*x=A_T*b。 2、 得到的新的方程组可使用楚列斯基分解的方法求解。首先，使用楚列斯基分解将新方程组的系数矩阵A_T*A分解为一个下三角矩阵和其转置矩阵的乘积，然后依次利用前代和回代的方法，即可求解出新的方程组的解。 3、 由于转换后得到的新方程组与原方程组同解，所以得到的解即为最终所求解。

MATLAB 实现线性回归算法代码，运用了三种方法，包括批梯度下降，随机梯度下降，和解正规方程组，代码有注释。