最优化算法python实现篇（4）——无约束多维极值（梯度下降法）摘要算法简介注意事项算法适用性python实现实例运行结果算法过程可视化 摘要 本文介绍了多维无约束极值优化算法中的梯度下降法，通过python进行实现，并可视化展示了算法过程。 算法简介 给定初始点，沿着负梯度方向（函数值下降最快的方向）按一定步长（机器学习中也叫学习率）进行搜索，直到满足算法终止条件，则停止搜索。 注意事项 学习率不能太小，也不能太大，可以多尝试一些值。当然每次沿着负梯度方向搜索时，总会存在一个步长使得该次搜索的函数值最低，也就是一个一维无约束极值问题，可调用黄金分割法的一维无约束优化方法求取最佳步长（学习率

事实上，如果知道了一个函数的图形，则它的极值情况和许多其它特性是一目了然的。而借助MATLAB的作图功能，我们很容易做到这一点。

梯度下降法 梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个场景：一个人被困在山上，需要从山上下来(找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低；因此，下山的路径就无法确定，必须利用自己周围的信息一步一步地找到下山的路。这个时候，便可利用梯度下降算法来帮助自己下山。怎么做呢，首先以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着下降方向走一步，然后又继续以当前位置为基准，再找最陡峭的地方，再走直到最后到达最低处；同理上山也是如此，只是这时候就变成梯度上升算法了 梯度下降 梯度下降的基本过程就和下山的场景很类似。 首先，我们有一个可微分的函数。这个

一个简单改进遗传算法解决高维极值的问题，对新手很有帮助！！

Matlab神经网络(九)--粒子群算法（PSO）实现函数极值优化

这是基于BP神经网络遗传算法极值寻优的MATLAB源代码，请大家多多参考！！！

利用神经网络的非线性拟合能力和遗传算法的非线性寻优能力寻找函数极值。

粒子群算法的寻优算法-非线性函数极值寻优

行业分类-电子政务-一种极值采样电路.zip

利用Matlab编写常用的最优化计算方法 参考书目：《最优化方法》 西安电子科技大学出版社