ReLUs Are Sufficient for Learning Implicit Neural Representations

受到使用修正线性单元（ReLU）作为激活函数的神经网络日益增长的理论理解的推动，我们重新审视了使用ReLU激活函数学习隐式神经表示（INRs）的方法。受二阶B样条小波的启发，我们在深度神经网络（DNN）的每个层中将一组简单的约束条件加入到ReLU神经元中，以纠正其谱偏差。这反过来使其能够用于各种INR任务。实证上，我们证明了与普遍观点相反，可以通过仅使用ReLU神经元组成的DNN来学习最先进的INRs。接下来，通过利用最近的理论工作，对ReLU神经网络学习的函数类型进行表征，我们提供了一种量化所学函数规则性的方法。这为选择INR架构中的超参数提供了一个原则性的方法。我们通过信号表示、超分辨率和计算机断层扫描等实验来证实我们的说法，展示了我们方法的多功能性和有效性。所有实验的代码均可在https://github.com/joeshenouda/relu-inrs找到。

本论文试图验证使用ReLU激活函数的神经网络能否有效地学习隐式神经表示，并解决其谱偏差问题。这是否是一个新问题？

通过在每个层的ReLU神经元中引入一组简单的约束条件，将二阶B样条小波作为启示，纠正其谱偏差问题，从而使其适用于各种隐式神经表示任务。此外，通过利用最近的理论工作，对学习到的函数的规则性进行量化，提供了一种选择INR架构超参数的原则方法。

本论文的亮点包括：1. 通过简单的约束条件解决ReLU神经网络的谱偏差问题；2. 提供了一种选择INR架构超参数的原则方法；3. 在信号表示、超分辨率和计算机断层扫描等实验中展示了方法的多功能性和有效性；4. 提供了开源代码。

近期在这个领域中的相关研究包括：1.《Deep Residual Learning for Image Recognition》；2.《Very Deep Convolutional Networks for Large-Scale Image Recognition》；3.《Understanding Deep Learning Requires Rethinking Generalization》等。