Conv-INR: Convolutional Implicit Neural Representation for Multimodal Visual Signals

最近，隐式神经表示（INR）已成为一种有前途的信号表示范式。通常，INR由一个多层感知器（MLP）参数化，它以坐标为输入，并生成信号的相应属性。然而，基于MLP的INR面临两个关键问题：一是独立地考虑每个坐标而忽略它们之间的联系；二是受到谱偏差的影响，从而无法学习高频分量。而目标视觉信号通常表现出强烈的局部结构和邻域依赖性，高频分量在这些信号中非常重要，这些问题会损害INR的表示能力。本文提出了Conv-INR，这是第一个完全基于卷积的INR模型。由于卷积的固有属性，Conv-INR可以同时有效地考虑相邻的坐标并学习高频分量。与现有的基于MLP的INR相比，Conv-INR具有更好的表示能力和可训练性，而不需要主要函数扩展。我们在四个任务上进行了广泛的实验，包括图像拟合、CT/MRI重建和新视角合成。Conv-INR在所有任务中都显著优于现有的基于MLP的INR，验证了其有效性。最后，我们提出了三种重新参数化方法，可以进一步提高基本Conv-INR的性能，而不会引入任何额外的推理成本。

本论文旨在解决隐式神经表示（INR）中，基于多层感知器（MLP）的表示方法存在的问题，如忽略坐标之间的联系以及无法学习高频成分等问题。

本论文提出了一种基于卷积的INR模型(Conv-INR)，通过卷积的特性，Conv-INR能够同时考虑相邻坐标并有效地学习高频成分，从而具有更好的表示能力和可训练性。

本文在四个任务上进行了广泛的实验，包括图像拟合、CT/MRI重建和新视角合成等，Conv-INR均显著优于现有的基于MLP的INR模型，证明了其有效性。此外，本文还提出了三种重参数化方法，可以进一步提高Conv-INR的性能，而不会引入任何额外的推理成本。

最近在这个领域中，还有一些相关的研究，如《Implicit Neural Representations with Periodic Activation Functions》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。