lambda.pytorch:Lambda网络和预训练的Lambda-ResNet的PyTorch实施-源码

lambda.pytorch [NEW！]看看我们的最新作品在CVPR'21该桥梁卷积和自我关注运营商。 LambdaNetworks的PyTorch实现。 Lambda网络应用矩阵乘法的关联定律来逆转自我注意力的计算顺序，从而实现了有关内容交互的线性计算复杂性。 以前在和使用了类似的技术。 在另一个存储库签出一系列自我注意模块。 训练配置 ✓SGD优化器，初始学习率0.1，动量0.9，重量衰减0.0001 ✓时代130，批量大小256，8个Tesla V100 GPU，LR衰减策略余弦 ✓标签平滑0.1 训练有素的检查站 建筑学 参数 襟翼 前1名/前5名（％） 下载 Lambda-ResNet-50 14.995万 6.576克 78.208 / 93.820 | 引文 如果您发现此存储库对您的研究有用，请引用 @InProceedings { Li_2021_CVPR