对于一个多元函数，用最速下降法（又称梯度下降法）求其极小值的迭代格式为
其中为负梯度方向，即最速下降方向，αkαk为搜索步长。
一般情况下，最优步长αkαk的确定要用到线性搜索技术，比如精确线性搜索，但是更常用的是不精确线性搜索，主要是Goldstein不精确线性搜索和Wolfe法线性搜索。
为了调用的方便，编写一个Python文件，里面存放线性搜索的子函数，命名为linesearch.py，这里先只编写了Goldstein线性搜索的函数，关于Goldstein原则，可以参看最优化课本。
线性搜索的代码如下（使用版本为Python3.3）：
'''
线性搜索子函数
'''
import n
2022-12-12 16:36:33
161KB
1
armijo
matlab代码
Steepest-descent-algorithm-Matlab-
用MATLAB实现最速下降法(使用梯度作为下降方向的无限制最优化方法)。使用Armijo准则找步长。
using
MATLAB
to
do
steepest
descent
algorithm（unconstrained
optimization
method
that
uses
gratitude
vector
as
descent
direction）,
and
find
steps
by
Armijo
principle.
English
version
is
placed
behind
the
Chinese
one.
一.
背景简述
1.最速下降法的常用的迭代格式为
min
f(x)
xk+1
=
xk
+
αkdk,
k
=0,1,...
x0为初始向量，dk为f(x)在xk处的下降方向，αk
>
0为步长。
在最速下降法中，dk取负梯度方向-gk。步长采用Armijo准则进行非精确一维搜索。
2.Armijo准则:
设f(x)连续可微，dk是f(x)在xk处的下降方向
2022-10-24 08:56:56
1.61MB
1
这是“最速下降算法”的一个小示例代码。 它实现了最速下降算法，并在每一步计算最佳步长。 该代码使用 2x2 相关矩阵并迭代求解 Weiner 滤波器的 Normal 方程。
参考：
自适应滤波器理论第 3 版西蒙·海金
2022-07-08 11:20:16
826B
1
优化方法：最速下降、阻尼牛顿、共轭梯度、BFGS法 matlab程序，以求解Rosen Brock函数极小值为例
程序有详细注释。
2022-06-09 20:00:59
4KB
脚本最速下降.m 使用最速下降法优化通用的多变量实值函数。 在迭代过程中，如果无法获得最佳步长，则采用固定步长为 0.001。 对于理论，可以参考任何关于优化技术的好书。 该脚本还可用于检查给定函数是凸函数还是凹函数，从而全局优化。
2022-05-29 10:28:51
2KB
1
无约束问题的优化算法，包括最速下降法 牛顿法 共轭梯度法 拟牛顿法四种算法程序，并显示最优点的迭代次数与迭代曲线。
2022-05-26 13:46:58
626KB
1