对源码进行了优化，增加了注释； 性能优于UFLDL网站上的minFunc函数。 希望各位大佬进行采纳！

其迭代公式为：，式中为海塞矩阵，为梯度hps://blog.csdn.net/STM89C56/arcle/details/105643162（牛顿法博客）hp

MATLAB编写的BFGS算法，BFGS算法，Broyden族拟Newton法 。

《实用最优化方法》上机作业，用C语言编写采用BFGS变尺度算法求解无约束优化问题。

对源码进行了优化，增加了注释； 性能优于UFLDL网站上的minFunc函数。 希望各位大佬进行采纳！

包含 BFGS的实现，这是一种用于最小化凸二次可微函数的算法。 BFGS 在介绍此软件包的博客文章中进行了高级解释 。 在这个例子中，我们最小化一个二维函数：

优化方法：最速下降、阻尼牛顿、共轭梯度、BFGS法 matlab程序，以求解Rosen Brock函数极小值为例 程序有详细注释。

针对利用粒子群优化算法进行多极值函数优化时存在早熟收敛和搜索效率低的问题，提出混合的PSO-BFGS算法，并增强了混合算法的变异能力使算法能逃出局部极值点。通过对三种Benchmark函数的测试结果表明，PSO-BFGS算法不仅具有有效的全局收敛性能，而且还具有较快的收敛速度，是求解最优化问题的一种有效算法。

L-BFGS-B 是 Fortran 77 例程的集合，用于解决具有变量边界约束的非线性优化问题。 非线性求解器的主要特征之一是不需要 Hessian。 我为 L-BFGS-B 求解器设计了一个接口，以便可以像 MATLAB 中的任何其他函数一样调用它。

多批次LBFGS 该代码是用于神经网络训练的革命性优化器的实现。 它的全名是“带CUDA的多批次L-BFGS优化器”。 如今，著名的机器学习框架（例如Tensorflow）通常提供“基于梯度”的优化器（GradientDescent，AdaGrad），该优化器通过计算梯度并将其应用于网络来发挥作用。 该代码为Tensorflow实现了一个经过优化的优化器，它采用了“多批L-BFGS”算法（一种基于准牛顿算法的变体），我覆盖了Tensorflow的优化器的默认实现，并定义了一种用于梯度计算的拟新方法，该方法结合了二阶信息，其执行方式比默认优化器更好。 此外，我通过介绍CUDA技术来优化此优化器。 我在GPU上分配计算步骤。 它将优化器的性能提高至少20％。