这个阶段一直在做和梯度一类算法相关的东西,索性在这儿做个汇总,
一、算法论述
梯度下降法(gradient descent)别名最速下降法(曾经我以为这是两个不同的算法-.-),是用来求解无约束最优化问题的一种常用算法。下面以求解线性回归为题来叙述:
设:一般的线性回归方程(拟合函数)为:(其中的值为1)
则这一组向量参数选择的好与坏就需要一个机制来评估,据此我们提出了其损失函数为(选择均方误差):
我们现在的目的就是使得损失函数取得最小值,即目标函数为:
如果的值取到了0,意味着我们构造出了极好的拟合函数,也即选择出了最好的值,但这基本是达不到的,我们只能使得其无限的接近于0,当
1