频道关注模块
该存储库包含ImageNet数据集的“ ResNets频道注意模块的性能-效率比较”的正式实现。 它包括以下几个注意模块的优化的PyTorch实现。
注意模块的性能与其计算成本相比,在几个参数上有很大差异。 例如,尽管与网络的其余部分相比,所有关注模块的触发器数量可以忽略不计,但在GPU上进行测量时,时间开销却变化很大。 对于ImageNet尺寸的图像(224x224像素),在RTX2080 Ti上计算时间的折衷选择了诸如AB和ECA之类的简单模块。
但是,模块开销随分辨率而变化很大,因此请确保为您的用例选择最佳的模块,因为现代网络很少使用仅224x224像素的分辨率。
要对模块进行更深入的比较,请随时阅读我们的论文。
要求
培训需要以下软件包:
PyTorch 1.6.0
的Python 3.7.6
CUDA 10.2.89
可选地,对于TensorRT计时测
2021-11-10 06:57:42
1.14MB
Python
1