傅立叶特征使网络可以在低维域中学习高频功能
|
* 1 , * 1,2 , * 1 , 1 , 1 , 1 , 3 , 2 , 1
1加州大学伯克利分校, 2 Google研究中心, 3加州大学圣地亚哥分校*表示相等的贡献
抽象的
我们表明,通过简单的傅立叶特征映射传递输入点使多层感知器(MLP)能够学习低维问题域中的高频函数。这些结果揭示了计算机视觉和图形学的最新进展,这些进展通过使用MLP表示复杂的3D对象和场景来实现了最新的结果。使用来自神经正切核(NTK)文献的工具,我们表明标准MLP在理论和实践上均无法学习高频。为了克服这种频谱偏差,我们使用傅立叶特征映射将有效的NTK转换为具有可调带宽的固定核。我们建议一种选择特定于问题的傅立叶特征的方法,该方法可以大大提高MLP在与计算机视觉和图形社区相关的低维回归任务上的性能。
代码
我们提供了一个作为该核心思想的简单
1