sam:SAM-源码

上传者: 42131628 | 上传时间: 2021-07-17 20:35:09 | 文件大小: 619KB | 文件类型: ZIP
SAM优化器 锐度感知最小化可有效提高泛化能力 〜在Pytorch中〜 SAM同时将损耗值和损耗锐度最小化。特别地,它寻找位于具有均匀低损耗的邻域中的参数。 SAM改进了模型的通用性,并。此外,它提供了强大的鲁棒性,可与专门针对带有噪声标签的学习的SoTA程序所提供的噪声相提并论。 这是的非官方存储库,。在实现方面,SAM类是一个轻量级包装器,用于计算正则化的“清晰度感知”渐变,该渐变由基础优化器(例如带有动量的SGD)使用。该存储库还包括一个的简单 ;作为概念验证,它在此数据集上以强劲的势头击败了SGD的表现。 在使用和不使用SAM的情况下,培训结束时的ResNet损失情况。锐度感知更新导致最小值明显变宽,从而导致更好的泛化属性。 用法 在您的培训管道中使用SAM应该很简单。只需记住,训练的速度将慢一倍,因为SAM需要两次向前-向后的传递才能使“清晰感”梯度变准。如果您使用渐变剪切,请

文件下载

资源详情

[{"title":"( 17 个子文件 619KB ) sam:SAM-源码","children":[{"title":"sam-main","children":[{"title":".gitignore <span style='color:#111;'> 1.76KB </span>","children":null,"spread":false},{"title":"LICENSE <span style='color:#111;'> 1.04KB </span>","children":null,"spread":false},{"title":".github","children":[{"title":"stale.yml <span style='color:#111;'> 682B </span>","children":null,"spread":false}],"spread":true},{"title":"sam.py <span style='color:#111;'> 2.08KB </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 5.33KB </span>","children":null,"spread":false},{"title":"example","children":[{"title":"data","children":[{"title":"cifar.py <span style='color:#111;'> 1.67KB </span>","children":null,"spread":false}],"spread":true},{"title":"model","children":[{"title":"wide_res_net.py <span style='color:#111;'> 3.88KB </span>","children":null,"spread":false},{"title":"smooth_cross_entropy.py <span style='color:#111;'> 420B </span>","children":null,"spread":false}],"spread":true},{"title":"utility","children":[{"title":"log.py <span style='color:#111;'> 4.29KB </span>","children":null,"spread":false},{"title":"initialize.py <span style='color:#111;'> 312B </span>","children":null,"spread":false},{"title":"cutout.py <span style='color:#111;'> 620B </span>","children":null,"spread":false},{"title":"step_lr.py <span style='color:#111;'> 693B </span>","children":null,"spread":false},{"title":"loading_bar.py <span style='color:#111;'> 399B </span>","children":null,"spread":false}],"spread":true},{"title":"README.md <span style='color:#111;'> 172B </span>","children":null,"spread":false},{"title":"train.py <span style='color:#111;'> 3.26KB </span>","children":null,"spread":false}],"spread":true},{"title":"img","children":[{"title":"loss_landscape.png <span style='color:#111;'> 629.93KB </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 80B </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明