就地激活的批次标准 就地激活的BatchNorm（InPlace-ABN）是一种新颖的方法，可以减少训练深度网络所需的内存。 通过将BN +非线性激活重新定义为一次就地操作，它可以在现代体系结构（如ResNet，ResNeXt和Wider ResNet）中节省多达50％的内存，同时根据需要智能地丢弃或重新计算中间缓冲区。 该存储库包含InPlace-ABN层的实现，以及一些用于重现本文中报告的ImageNet分类结果的训练脚本。 现在，我们还发布了用于语义分割的推理代码，以及的Mapillary Vistas训练模型。 可以在本页底部找到更多信息。 引文 如果您在研究中使用就地激活的批次标准，请引用： @inproceedings { rotabulo2017place , title = { In-Place Activated BatchNorm for Memory-Opti

同步批处理标准PyTorch PyTorch中的同步批处理规范化实现。 此模块与内置的PyTorch BatchNorm不同，因为在训练过程中所有设备的均值和标准差都减小了。 例如，当在训练期间使用nn.DataParallel封装网络时，PyTorch的实现仅使用该设备上的统计信息对每个设备上的张量进行归一化，这加快了计算速度，并且易于实现，但统计信息可能不准确。 相反，在此同步版本中，将对分布在多个设备上的所有训练样本进行统计。 请注意，对于单GPU或仅CPU的情况，此模块的行为与内置的PyTorch实现完全相同。 该模块目前仅是用于研究用途的原型版本。 如下所述，它有其局限性，甚至可能会遇到一些设计问题。 如果您有任何疑问或建议，请随时或。 为什么要同步BatchNorm？ 尽管在多个设备（GPU）上运行BatchNorm的典型实现速度很快（没有通信开销），但不可避免地会

基于numpy实现的卷积，通道卷积，batchnorm以及全连接，速度很快。。。。。。。。。。。。。。。。。。

tenforflow_batchnorm_five_layers_sigmoid,5层

tenforflow_batchnorm_five_layers_relu

tenforflow_batchnorm_convolutional

Convolution+BatchNorm+Scale+Relu的组合模块在卷积后进行归一化，可以加速训练收敛。但在推理时BatchNorm非常耗时，可以将训练时学习到的BatchNorm+Scale的线性变换参数融合到卷积层，替换原来的Convolution层中weights和bias，实现在不影响准确度的前提下加速预测时间。