Equilibrium Approaches to Modern Deep Learning.pdf

深度学习(Deep learning, DL)已经成为现代人工智能中最成功和被广泛采用的方法之一。与这些成功相伴而来的是越来越复杂和昂贵的架构设计，其基础是一个核心概念:层。本文对层次的这一基本作用提出了挑战，并深入介绍了一种新的、无层次的深度学习范式，将输出计算为动态系统的不动点:深度均衡(DEQ)模型。 首先，我们介绍深度均衡模型的一般公式。我们讨论了这些模型如何表达“无限级”的神经网络，向前和向后解耦传递，但与传统层的成本和设计复杂性-即使在一些最具竞争力的设置(例如，语言建模，语义分割等)。 其次，我们进一步讨论了这种均衡方式带来的挑战和机遇。我们表明，DEQ公式揭示了深度学习的许多新特性，这些特性长期以来被传统的层-堆叠方案所掩盖。利用它们，我们可以训练和部署这些新的轻量级均衡算法，大大补充了深度学习的现有发展，并使我们能够在最先进的水平上改善多个现有结果(例如，光流估计)。 DEQ方法已经在理论和实证两方面引领了社区内隐深度学习的新研究领域(例如，NeurIPS 2020教程)。因此，我们通过讨论未来的工作如何进一步利用这一平衡视角来构建更可扩展、高效和准确的下一代D