从 Naoaki Okazaki 的 C 库libLBFGS移植的 LBFGS 和 OWL-QN 算法的快速且安全的 Rust 实现。 动机 将原生 LBFGS 实现引入 Rust 社区。 了解如何在现实世界中实现出色的优化算法。 了解如何“在飞行时更换喷气发动机”网址 使用 Rust 高级抽象使其更易于维护。 改进它以满足我对计算化学的需求。 去做 与人造丝平行 SIMD 支持 添加选项以禁用仅梯度优化的线搜索 修复从 liblbfgs URL继承的问题 特征 干净安全的 Rust 实现。 OWL-QN 算法。 基于闭包的回调接口。 阻尼 L-BFGS 算法。
2022-06-11 18:06:18 41KB 算法 rust
多批次LBFGS 该代码是用于神经网络训练的革命性优化器的实现。 它的全名是“带CUDA的多批次L-BFGS优化器”。 如今,著名的机器学习框架(例如Tensorflow)通常提供“基于梯度”的优化器(GradientDescent,AdaGrad),该优化器通过计算梯度并将其应用于网络来发挥作用。 该代码为Tensorflow实现了一个经过优化的优化器,它采用了“多批L-BFGS”算法(一种基于准牛顿算法的变体),我覆盖了Tensorflow的优化器的默认实现,并定义了一种用于梯度计算的拟新方法,该方法结合了二阶信息,其执行方式比默认优化器更好。 此外,我通过介绍CUDA技术来优化此优化器。 我在GPU上分配计算步骤。 它将优化器的性能提高至少20%。
2022-05-09 17:51:35 31KB Python
1
拟牛顿法BFGS的改进,节省存储空间,提高速度。
2022-01-21 15:24:00 8KB 拟牛顿法
1
最优化方法matlab代码(二) 大规模优化问题,L-BFGS/FR/PRP/BB 博文链接: https://blog.csdn.net/benchuspx/article/details/122286649
2022-01-03 18:03:20 2.79MB matlab 优化 BFGS
1
cpp凸优化器 用 C++ 编写的凸优化算法。 最初这将包括 BFGS、LBFGS 和梯度下降。 最小 deps(TCLAP、EIGEN)
2021-09-03 16:53:09 114KB C++
1
解二次函数的几种方法,其中分几个子程序,并且用了wolfe线性搜索,计算量较小!
2021-07-18 18:40:17 2KB matlab
1
机器学习的优化程序库,用Python实现了梯度下降、LBFGS、rmsprop、adadelta 等算法。
2019-12-21 21:13:36 97KB python
1
实现Logistic Regression的开源代码,LBFGS应该是目前普遍被采用的一种方法,代码简洁,注释详细,不得不拥有!
2019-12-21 19:52:58 1.37MB LBFGS LR
1
这是一个用matlab写得LBFGS算法,这个算法是一种由牛顿算法演变而来的优化算法。算法包括了LBFGS算法和BFGS两种算法,LBFGS算法可以解决大规模计算的问题,算法详细,有注释。
2019-12-21 19:50:50 18KB LBFGS算法
1