powersgd:实用的低秩梯度压缩，用于分布式优化-源码

PowerSGD 适用于分布式优化的实用低秩梯度压缩 摘要：我们研究了梯度压缩方法来缓解数据并行分布优化中的通信瓶颈。 尽管受到了很大的关注，但是当前的压缩方案不能很好地扩展或无法达到目标测试精度。 我们基于功率迭代提出了一种新的低秩梯度压缩器，它可以i）快速压缩梯度，ii）使用全归约有效地压缩压缩梯度，iii）达到与SGD相当的测试性能。 所提出的算法是唯一评估的方法，当以具有优化的通信后端的常规SGD为基准进行测试时，该方法可实现一致的挂钟加速。 我们证明了减少卷积网络以及通用数据集上的LSTM的训练时间。 该存储库包含用于实验的研究代码。 从1.8版开始，PyTorch将该算法的派生实现作为DistributedDataParallel模型的。 如果您打算在生产环境中使用PowerSGD， 分享他们在将PowerSGD扩展到大型系统上的实验。 代码组织 一些指针 是入口点。 实