Encoding Semantic Priors into the Weights of Implicit Neural Representation

最近，隐式神经表示（INR）作为一种有前途的信号表示范式出现，它以坐标为输入并生成相应的信号值。由于这些坐标不包含语义特征，因此INR无法考虑任何语义信息。然而，语义信息在许多视觉任务中被证明是至关重要的，特别是对于视觉信号表示。本文提出了一种名为SPW的重新参数化方法，它将语义先验编码到INR的权重中，从而使INR隐含地包含语义信息并增强其表征能力。具体而言，SPW使用语义神经网络（SNN）提取目标视觉信号的低级和高级语义信息，并生成语义向量，该向量输入到权重生成网络（WGN）中以生成INR模型的权重。最后，INR使用具有语义先验的生成权重将坐标映射到信号值。在训练后，我们仅保留生成的权重，而放弃SNN和WGN，因此SPW在推理中不会引入额外的成本。实验结果表明，SPW可以显着提高各种INR模型在各种任务上的性能，包括图像拟合、CT重建、MRI重建和新视角合成。进一步的实验表明，具有SPW的模型具有更低的权重冗余并学习更多的新颖表示，验证了SPW的有效性。

本论文旨在解决无语义信息的隐式神经表示（INR）在视觉任务中表现不佳的问题，提出了一种新的重新参数化方法（SPW）来将语义信息编码到INR的权重中，从而增强其表征能力。

SPW方法使用语义神经网络（SNN）提取目标视觉信号的低层和高层语义信息，并生成语义向量，然后将其输入到权重生成网络（WGN）中，以生成INR模型的权重。在训练后，只保留生成的权重，放弃SNN和WGN，因此SPW在推理中不会增加额外的成本。

实验结果表明，SPW方法可以显著提高各种INR模型在各种任务上的性能，包括图像拟合、CT重建、MRI重建和新视角合成。此外，该方法具有更低的权重冗余和学习更多新颖表示的优点。论文使用多个数据集进行了实验，并开源了代码。

最近的相关研究包括使用INR进行图像重建和生成，以及使用SNN提取语义信息。