使用PyTorch在GPU上进行MIL-NCE端到端HowTo100M培训
此存储库包含CVPR'20论文的开源PyTorch分布式培训代码:[1]。 [1]中的原始代码库依赖于Google和DeepMind的内部工具以及TPU v3加速器的使用,这使其难以按原样发布。
相反,此存储库使用PyTorch / ffmpeg和合理数量的GPU提供了[1]的实现。
培训代码在法国公共AI集群(请参阅下面的致谢)。 它经过专门设计,可在基于SLURM的集群管理上运行,以进行多节点分布式培训,但可以轻松地针对任何其他集群管理系统进行修改。
本文的开源PyTorch实现有一些细微的差异,例如:
使用余弦学习速率衰减代替[1]中描述的逐步衰减。
没有在不同的GPU和节点之间共享批处理规范化统计信息,因为在GPU上执行此类操作比TPU慢得多。
使用略微不同的时空训练视频分辨率的输入视频剪辑。
2022-05-16 17:08:20
22.02MB
Python
1