L-BFGS是解无约束非线性规划问题最常用的方法，具有收敛速度快、内存开销少等优点，在机器学习各类算法中常有它的身影。简单的说，L-BFGS和梯度下降、SGD干的同样的事情，但大多数情况下收敛速度更快，这点在大规模计算中很重要。
2021-04-03 09:15:08
10KB
1
BFGS算法是目前最流行的，也是最有效的拟牛顿算法。是算法学习过程中必学的内容。通过Matlab实现了BFGS算法，其中对程序有讲解，望有助于大家的学习。
2019-12-21 21:48:06
1KB
1
拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。本程序是拟牛顿法-bfgs算法的matlab代码。
2019-12-21 21:39:29
1KB
1
这个函数可以从UFLDL网站上下载，其好处是在用10000个样本优化30多万个参数时内存不溢出，比网站上所用的minFunc函数好。我下载后整理了一下，翻译了注释，行数从800多行压倒660行
2019-12-21 21:02:57
29KB
1