lambda.pytorch
[NEW！]看看我们的最新作品在CVPR'21该桥梁卷积和自我关注运营商。
LambdaNetworks的PyTorch实现。
Lambda网络应用矩阵乘法的关联定律来逆转自我注意力的计算顺序，从而实现了有关内容交互的线性计算复杂性。
以前在和使用了类似的技术。 在另一个存储库签出一系列自我注意模块。
训练配置
✓SGD优化器，初始学习率0.1，动量0.9，重量衰减0.0001
✓时代130，批量大小256，8个Tesla V100 GPU，LR衰减策略余弦
✓标签平滑0.1
训练有素的检查站
建筑学
参数
襟翼
前1名/前5名（％）
下载
Lambda-ResNet-50
14.995万
6.576克
78.208 / 93.820
|
引文
如果您发现此存储库对您的研究有用，请引用
@InProceedings { Li_2021_CVPR
2021-12-21 09:57:57
5KB
1