新加坡国立大学最新「大规模深度学习优化」综述论文,带你全面了解最新深度学习准确率和效率的优化方法
【导读】深度学习优化是构建深度学习模型中的一个关键问题。来自NUS的研究人员发布了《大规模深度学习优化》综述论文,DL优化目标是双重的: 模型准确性和模型效率。至于模型的准确性,研究了最常用的优化算法,从梯度下降变量到(大批量)自适应方法,从一阶方法到二阶方法。此外,还阐述了在大批量训练中出现的泛化差距这一有争议的问题。
深度学习在人工智能的广泛应用中取得了可喜的成果。更大的数据集和模型总是产生更好的性能。然而,我们通常花更长的训练时间在更多的计算和通信上。在这项综述中,我们的目标是提供一个清晰的草图,关于优化大规模深度学习的模型准确性和模型效率。我们研究最常用于优化的算法,阐述大批量训练中出现的泛化缺口这一有争议的话题,并回顾SOTA解决通信开销和减少内存占用的策略。
2021-11-24 13:07:11
988KB
1