Large-Scale Deep Learning Optimizations—A Comprehensive

新加坡国立大学最新「大规模深度学习优化」综述论文，带你全面了解最新深度学习准确率和效率的优化方法 【导读】深度学习优化是构建深度学习模型中的一个关键问题。来自NUS的研究人员发布了《大规模深度学习优化》综述论文，DL优化目标是双重的: 模型准确性和模型效率。至于模型的准确性，研究了最常用的优化算法，从梯度下降变量到(大批量)自适应方法，从一阶方法到二阶方法。此外，还阐述了在大批量训练中出现的泛化差距这一有争议的问题。 深度学习在人工智能的广泛应用中取得了可喜的成果。更大的数据集和模型总是产生更好的性能。然而，我们通常花更长的训练时间在更多的计算和通信上。在这项综述中，我们的目标是提供一个清晰的草图，关于优化大规模深度学习的模型准确性和模型效率。我们研究最常用于优化的算法，阐述大批量训练中出现的泛化缺口这一有争议的话题，并回顾SOTA解决通信开销和减少内存占用的策略。