傅立叶特征使网络可以在低维域中学习高频功能
|
* 1 ， * 1,2 ， * 1 ， 1 ， 1 ， 1 ， 3 ， 2 ， 1
1加州大学伯克利分校， 2 Google研究中心， 3加州大学圣地亚哥分校*表示相等的贡献
抽象的
我们表明，通过简单的傅立叶特征映射传递输入点使多层感知器（MLP）能够学习低维问题域中的高频函数。这些结果揭示了计算机视觉和图形学的最新进展，这些进展通过使用MLP表示复杂的3D对象和场景来实现了最新的结果。使用来自神经正切核（NTK）文献的工具，我们表明标准MLP在理论和实践上均无法学习高频。为了克服这种频谱偏差，我们使用傅立叶特征映射将有效的NTK转换为具有可调带宽的固定核。我们建议一种选择特定于问题的傅立叶特征的方法，该方法可以大大提高MLP在与计算机视觉和图形社区相关的低维回归任务上的性能。
代码
我们提供了一个作为该核心思想的简单
2022-12-12 00:42:43
6.39MB
1