HOIN: High-Order Implicit Neural Representations

隐式神经表示（INR）存在严重的谱偏差问题，导致反问题的解过于平滑。为了解决这个问题，我们提出了一个称为“高阶隐式神经表示（HOIN）”的通用框架来处理反问题。通过改进传统的级联结构以促进特征之间的高阶交互，HOIN增强了模型的表达能力，并通过其神经切向核（NTK）的强对角特性缓解了谱偏差，从而加速和优化了反问题的解决。通过分析模型的表达空间、高阶导数和NTK矩阵，我们从理论上验证了HOIN的可行性。在大多数反问题中，HOIN实现了1到3 dB的改进，建立了新的最先进的恢复质量和训练效率，为INR提供了一个新的通用范例，为其解决反问题铺平了道路。

解决问题：论文旨在解决Implicit neural representations (INR)在逆问题中存在的光谱偏差问题，导致解决方案过于平滑的问题。

关键思路：提出了一种名为High-Order Implicit Neural Representations (HOIN)的通用框架，通过改进传统的级联结构以促进特征之间的高阶交互来增强模型的表达能力，并通过其神经切向核（NTK）的强对角线特性来缓解光谱偏差，从而加速和优化逆问题的解决方案。

亮点：通过分析模型的表达空间、高阶导数和NTK矩阵，理论上验证了HOIN的可行性。在大多数逆问题中实现了1到3 dB的改进，建立了新的恢复质量和训练效率的最新水平，为INR提供了一个新的通用范例，并为其解决逆问题铺平了道路。

相关研究：最近的相关研究包括Implicit Neural Representations with Periodic Activation Functions和Invertibility of Generative Models with Implicit Vector Fields等。