从Adam切换到SGD
表明:“即使在自适应解决方案具有更好的训练性能的情况下,通过自适应方法发现的解决方案的普遍性也比SGD差(通常显着更差)。这些结果表明,从业者应该重新考虑使用自适应方法来训练神经网络。 ”
“来自的SWATS,这是ICLR在2018年获得的高分论文,该方法被提议自动从Adam切换到SGD,以获得更好的泛化性能。该算法本身的想法非常简单。它使用Adam,尽管调整得很少,但学习到一定阶段后,由SGD接管。 ”
用法
直接从此git存储库或从pypi使用以下任一命令从pip即可直接安装软件包。
pip install git+https://github.com/Mrpatekful/swats
pip install pytorch-swats
安装后,可以将SWATS用作任何其他torch.optim.Optimizer 。 以下代码段简要介绍了如何使用该算
1