Attention Beats Linear for Fast Implicit Neural Representation Generation

隐式神经表示法（INR）作为一种数据表示方法，已经越来越受欢迎，是创新生成模型的先决条件。与基于梯度的方法不同，采用超级网络来生成多层感知机（MLP）中的参数，负责执行INR函数，已成为一种有前途和高效的选择。然而，作为全局连续函数，MLP在建模高度不连续信号方面具有挑战性，在训练阶段的收敛速度较慢，并且重构性能不准确。此外，MLP需要大量的表示参数，这意味着数据表示效率低下。在本文中，我们提出了一种新颖的基于注意力的本地化INR（ANR），由一个本地化注意力层（LAL）和一个全局MLP组成，它将坐标特征与数据特征集成在一起，将它们转换成有意义的输出。随后，我们设计了一个实例表示框架，提供了一个类似于变压器的超级网络，将数据实例表示为一个紧凑的表示向量。通过实例特定的表示向量和实例不可知的ANR参数，目标信号可以被很好地重构为连续函数。我们进一步通过变分坐标解决了混淆伪影问题，从而获得了超分辨率推理结果。在四个数据集上进行的大量实验展示了我们的ANR方法的显著效果，例如在CelebA数据集上将PSNR值从37.95dB提高到47.25dB。代码发布在https://github.com/Roninton/ANR。

本文试图提出一种新的数据表示方法来解决多层感知器（MLP）在处理高度不连续信号时收敛缓慢、重构性能不准确且需要大量表示参数的问题。

本文提出了一种基于注意力机制的局部隐式神经表示（ANR）方法，由局部注意力层和全局MLP组成，将坐标特征与数据特征相结合，并将它们转换为有意义的输出，通过实例表示框架和变分坐标解决了深度学习中的超分辨率问题。

本文的实验结果表明，ANR方法在多个数据集上都有显著的性能提升，例如在CelebA数据集上将PSNR值从37.95dB提高到47.25dB。此外，本文还开源了代码。

最近的相关研究包括《Implicit Neural Representations with Periodic Activation Functions》和《Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains》。