torch_swa_examples-源码

随机加权平均（SWA） PyTorch 1.6现在支持随机加权平均（SWA）！ 该存储库包含在对DNN使用SWA训练方法的实现的 。 此PyTorch的代码改编自原始的PyTorch。 请参阅新的PyTorch博客文章，以获取有关SWA和torch.optim实现的更多详细信息。 该文件提出了SWA （UAI 2018） 作者：Pavel Izmailov、Dmitrii Podoprikhin、Timur Garipov、Dmitry Vetrov 和 Andrew Gordon Wilson。 介绍 SWA是一种简单的DNN训练方法，可以用作SGD的直接替代方法，具有改进的泛化，更快的收敛性，并且基本上没有开销。 SWA的关键思想是使用修改后的学习率计划对SGD生成的多个样本求平均。 我们使用恒定或周期性的学习速率计划，这会使SGD探索权重空间中与高性能网络相对应的点集。 我们观