随机加权平均(SWA)
PyTorch 1.6现在支持随机加权平均(SWA)! 该存储库包含在对DNN使用SWA训练方法的实现的 。 此PyTorch的代码改编自原始的PyTorch。 请参阅新的PyTorch博客文章,以获取有关SWA和torch.optim实现的更多详细信息。 该文件提出了SWA
(UAI 2018)
作者:Pavel Izmailov、Dmitrii Podoprikhin、Timur Garipov、Dmitry Vetrov 和 Andrew Gordon Wilson。
介绍
SWA是一种简单的DNN训练方法,可以用作SGD的直接替代方法,具有改进的泛化,更快的收敛性,并且基本上没有开销。 SWA的关键思想是使用修改后的学习率计划对SGD生成的多个样本求平均。 我们使用恒定或周期性的学习速率计划,这会使SGD探索权重空间中与高性能网络相对应的点集。 我们观
2021-12-06 21:07:11
10KB
Python
1