本文通过考虑深度在特征提取和泛化中的作用,研究了深度网络的理论优势。主要贡献是四个。首先,在相同的容量成本下 (通过覆盖数量),我们证明了深网在提取组结构特征方面优于浅网。其次,我们证明了深remu网是提取平滑度特征的最佳工具之一。第三,我们严格证明了特征对深度和反之的适应性,从而得出了在深度网络上实现经验风险最小化的最佳学习率。最后,我们进行了广泛的数值实验,包括玩具模拟和真实数据验证,以显示深度网络在特征提取和泛化方面的出色表现。所有这些结果为深度学习的成功提供了合理的解释,并为使用深度网络提供了坚实的指导。在本文中,我们仅考虑回归问题中的深度选择。为分类制定类似的结论将是有趣且重要的。我们将考虑这个主题,并在以后的研究中报告进展。
2022-09-30 16:05:13
1MB
特征提取
1