signSGD:标志的代码SGD纸-源码

signSGD：非凸问题的压缩优化 在这里，我存放了原始signSGD论文（ICML-18）的mxnet代码。 我在此处放置了代码，以方便在论文中重现结果，并且该代码并非旨在用于开发目的。 特别是，此实现不会从压缩中获得任何加速。 一些链接： 。 在上有关该论文的更多信息。 我的合着者：， ， 。 [2021年1月更新]如，此代码库使用了sign函数的实现，该函数映射sign(0) --> 0 。 的测试表明，随机映射sign(0) --> ±1的实现可能没有什么区别。 在的中，我们使用了确定性映射sign(0) --> +1 。 一般说明： Signum在mxnet中作为官方优化器实现，因此要在此代码库中使用Signum，我们将字符串“ signum”作为命令行参数传递。 如果您不使用我们建议的超参数，请小心调整它们。 Signum超参数通常与Adam超参数相似，而不