CADA主管：随机梯度下降（SGD）已成为大规模机器学习的主要动力。 它经常与它的自适应变体一起使用，例如AdaGrad，Adam和AMSGrad。 本文提出了一种用于分布式机器学习的自适应随机梯度下降方法，可以将其视为著名的亚当方法的通信自适应方法，并以此命名为CADA。 CADA的关键组成部分是为适应性随机梯度量身定制的一组新规则，可以实施这些规则以节省通信上载。 新算法可自适应地重用陈旧的Adam梯度，从而节省了通信量，并且收敛速度仍与原始Adam相当。 在数值实验中，CADA在减少总通信回合方面取

CADA大师 AISTATS2021论文的Python代码：陈天一，郭子业，孙跃娇，尹沃涛，“ CADA：通信自适应分布式亚当”。 [在线] 参考： 如果我们的代码可以帮助您进行研究，请引用我们的论文。 @misc{chen2020cada, title={CADA: Communication-Adaptive Distributed Adam}, author={Tianyi Chen and Ziye Guo and Yuejiao Sun and Wotao Yin}, year={2020}, eprint={2012.15469}, archivePrefix={arXiv}, primaryClass={cs.LG} } 致谢 该存储库中的代码是以下论文中代码的修改版本。 @misc{chen2020lasg, tit