SWA简单来说就是对训练过程中的多个checkpoints进行平均，以提升模型的泛化性能。记训练过程第i ii个epoch的checkpoint为w i w_{i}w i ​ ，一般情况下我们会选择训练过程中最后的一个epoch的模型w n w_{n}w n ​ 或者在验证集上效果最好的一个模型w i ∗ w^{*}_{i}w i ∗ ​ 作为最终模型。但SWA一般在最后采用较高的固定学习速率或者周期式学习速率额外训练一段时间，取多个checkpoints的平均值。 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/124414939

随机加权平均（SWA） PyTorch 1.6现在支持随机加权平均（SWA）！ 该存储库包含在对DNN使用SWA训练方法的实现的 。 此PyTorch的代码改编自原始的PyTorch。 请参阅新的PyTorch博客文章，以获取有关SWA和torch.optim实现的更多详细信息。 该文件提出了SWA （UAI 2018） 作者：Pavel Izmailov、Dmitrii Podoprikhin、Timur Garipov、Dmitry Vetrov 和 Andrew Gordon Wilson。 介绍 SWA是一种简单的DNN训练方法，可以用作SGD的直接替代方法，具有改进的泛化，更快的收敛性，并且基本上没有开销。 SWA的关键思想是使用修改后的学习率计划对SGD生成的多个样本求平均。 我们使用恒定或周期性的学习速率计划，这会使SGD探索权重空间中与高性能网络相对应的点集。 我们观

swan风浪模式知道手册，里面介绍了如何设置input文件，同时知道如何输出变量

无痛涨点技术，用于平均多个模型的权重，此资源是对caffemodel进行处理的脚本

无痛涨点技术，用于平均多个模型的权重，此资源是对pytorch 模型进行处理的脚本

PDF攻击实例-USF-ISA-SWA-Shadow Attack.7z

02.长沙月亮岛度假社区整体规划.pdf SWA.zip

14.广州东部（新塘）国际商务城概念规划2010——[SWA].zip