上传者: 42115513
|
上传时间: 2022-03-16 18:43:34
|
文件大小: 149KB
|
文件类型: -
就地激活的批次标准
就地激活的BatchNorm(InPlace-ABN)是一种新颖的方法,可以减少训练深度网络所需的内存。 通过将BN +非线性激活重新定义为一次就地操作,它可以在现代体系结构(如ResNet,ResNeXt和Wider ResNet)中节省多达50%的内存,同时根据需要智能地丢弃或重新计算中间缓冲区。
该存储库包含InPlace-ABN层的实现,以及一些用于重现本文中报告的ImageNet分类结果的训练脚本。
现在,我们还发布了用于语义分割的推理代码,以及的Mapillary Vistas训练模型。 可以在本页底部找到更多信息。
引文
如果您在研究中使用就地激活的批次标准,请引用:
@inproceedings { rotabulo2017place ,
title = { In-Place Activated BatchNorm for Memory-Opti