上传者: 38742647
|
上传时间: 2021-09-12 05:22:59
|
文件大小: 193KB
|
文件类型: PDF
最优化算法python实现篇(4)——无约束多维极值(梯度下降法)摘要算法简介注意事项算法适用性python实现实例运行结果算法过程可视化
摘要
本文介绍了多维无约束极值优化算法中的梯度下降法,通过python进行实现,并可视化展示了算法过程。
算法简介
给定初始点,沿着负梯度方向(函数值下降最快的方向)按一定步长(机器学习中也叫学习率)进行搜索,直到满足算法终止条件,则停止搜索。
注意事项
学习率不能太小,也不能太大,可以多尝试一些值。当然每次沿着负梯度方向搜索时,总会存在一个步长使得该次搜索的函数值最低,也就是一个一维无约束极值问题,可调用黄金分割法的一维无约束优化方法求取最佳步长(学习率