分享了金鹰优化器工具箱及其原文，亲测有效，更多算法可进入空间查看

分享了冠状病毒群体免疫优化器源代码及其对应原文，亲测有效，更多算法可进入空间查看

从Adam切换到SGD 表明：“即使在自适应解决方案具有更好的训练性能的情况下，通过自适应方法发现的解决方案的普遍性也比SGD差（通常显着更差）。这些结果表明，从业者应该重新考虑使用自适应方法来训练神经网络。 ” “来自的SWATS，这是ICLR在2018年获得的高分论文，该方法被提议自动从Adam切换到SGD，以获得更好的泛化性能。该算法本身的想法非常简单。它使用Adam，尽管调整得很少，但学习到一定阶段后，由SGD接管。 ” 用法 直接从此git存储库或从pypi使用以下任一命令从pip即可直接安装软件包。 pip install git+https://github.com/Mrpatekful/swats pip install pytorch-swats 安装后，可以将SWATS用作任何其他torch.optim.Optimizer 。 以下代码段简要介绍了如何使用该算

分享了野马优化器算法源代码及原文，亲测有效，更多算法可进入空间查看

#3.6_Optimizer_优化器_(PyTorch_tutorial_神经网络_教学)

Modules03. Optimizer 模块化代码优化器.pdf_前端学习资料

天鹰座优化器（AO）是一种新颖的基于种群的优化方法，其灵感来自天鹰座在捕捉猎物过程中的自然行为。 主要参考资料：Abualigah，L.，Yousri，D.，Elaziz，MA，Ewees，AA，A。Al-qaness，MA，Gandomi， AH，Aquila Optimizer：一种新颖的元启发式优化算法，计算机与工业工程（2021年），doi： https ： //doi.org/10.1016/j.cie.2021.107250 可在Researchgate上找到的代码： https : //www.researchgate.net/publication/350411564_Matlab_Code_of_Aquila_Optimizer_A_novel_meta-heuristic_optimization_algorithm

主要介绍了PyTorch中model.zero_grad()和optimizer.zero_grad()用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

这个包是为了在 Windows 的便携模式下更好地使用 PC。 所有完全预配置和自动化的最佳简单使用！ * Network Ultimate 缓存和从 HTTP 网页中删除广告 * 系统：AnVir 任务管理器预配置以获得最佳进程性能 * 其他：（用于手动运行）Killer - 终极简单进程杀手预配置以获得最佳性能和进程安全性安装：不，它是可移植的 - 提取文件并运行。

SAM优化器 锐度感知最小化可有效提高泛化能力 〜在Pytorch中〜 SAM同时将损耗值和损耗锐度最小化。特别地，它寻找位于具有均匀低损耗的邻域中的参数。 SAM改进了模型的通用性，并。此外，它提供了强大的鲁棒性，可与专门针对带有噪声标签的学习的SoTA程序所提供的噪声相提并论。 这是的非官方存储库，。在实现方面，SAM类是一个轻量级包装器，用于计算正则化的“清晰度感知”渐变，该渐变由基础优化器（例如带有动量的SGD）使用。该存储库还包括一个的简单 ;作为概念验证，它在此数据集上以强劲的势头击败了SGD的表现。 在使用和不使用SAM的情况下，培训结束时的ResNet损失情况。锐度感知更新导致最小值明显变宽，从而导致更好的泛化属性。 用法 在您的培训管道中使用SAM应该很简单。只需记住，训练的速度将慢一倍，因为SAM需要两次向前-向后的传递才能使“清晰感”梯度变准。如果您使用渐变剪切，请