最速下降法问题及matlab代码

梯度下降法又被称为最速下降法(Steepest descend method)，其理论基础是梯度的概念。梯度与方向导数的关系为：梯度的方向与取得最大方向导数值的方向一致，而梯度的模就是函数在该点的方向导数的最大值。梯度下降算法事实上是求多维函数的在某一点收敛的极小值，可以用这个算法迭代出在哪个点收敛，也是求最小二乘问题的一种方法。先在脑海中想象一下，你站在一座山上，怎么找到最快下山的方法，这时你当然会朝着最陡峭的方向前进，到达一个点后，再次朝着陡峭的方向下山，从而循环这些步骤，到达山脚。

一个用matlab编写的最速下降法，包括进退法，黄金分割法等一维搜索算法

matlab编写的最速下降法，十分详细 function x=fsxsteep(f,e,a,b) % fsxsteep函数 最速下降法 % x=fsxsteep(f,e,a,b)为输入函数 f为函数 e为允许误差 (a,b)为初始点;

我的思路是这样的： 最速下降法能找出全局最优点，但在接近最优点的区域内就会陷入“齿型”迭代中，使其每进行一步迭代都要花掉非常久的时间，这样长久的等待是无法忍受的，不信你就在我那个程序的第一步迭代中把精度取得很小如：0.000000001等，其实我等过一个钟都没有什么结果出来。 再者我们考究一下 牛顿迭代法求最优问题，牛顿法相对最速下降法的速度就快得多了，而且还有一个好处就是能高度逼近最优值，而不会出现死等待的现象。 如后面的精度，你可以取如：0.0000000000001等。 但是牛顿法也有缺点，就是要求的初始值非常严格，如果取不好，逼近的最优解将不收敛，甚至不是最优解。 就算收敛也不能保证那个结就是全局最优解，所以我们的出发点应该是：为牛顿法找到一个好的初始点，而且这个初始点应该是在全局最优点附近，这个初始点就能保证牛顿法高精度收敛到最优点，而且速度还很快。 思路概括如下： 1。用最速下降法在大范围找到一个好的初始点给牛顿法：（最速下降法在精度不是很高的情况下逼近速度也是蛮快的） 2。在最优点附近改用牛顿法，用最速下降法找到的点为牛顿法的初始点，提高逼近速度与精度。 3。这样两种方法相结合，既能提高逼近的精度，还能提高逼近的速度，而且还能保证是全局最优点。这就充分吸收各自的优点，扬长避短。得到理想的结果了。