Latent Modulated Function for Computational Optimal Continuous Image Representation

最近的研究表明，基于局部隐式图像函数（LIIF）和随后的隐式神经表示（INR）的方法在使用多层感知机（MLP）解码低分辨率（LR）特征时，在任意比例超分辨率（ASSR）方面取得了显著的成功。然而，这些连续图像表示通常在高分辨率（HR）高维空间中实现解码，导致计算成本呈二次增长，严重阻碍了ASSR的实际应用。为了解决这个问题，我们提出了一种新的潜在调制函数（LMF），将HR-HD解码过程分解成LR-HD空间中的共享潜在解码和HR低维空间中的独立渲染，从而实现了连续图像表示的第一个计算最优范式。具体而言，LMF利用潜在空间中的HD MLP生成每个LR特征向量的潜在调制，这使得渲染空间中的调制LD MLP能够快速适应任何输入特征向量并在任意分辨率下执行渲染。此外，我们利用调制强度与输入图像复杂性之间的正相关性来设计可控多尺度渲染（CMSR）算法，提供根据渲染精度调整解码效率的灵活性。广泛的实验表明，将现有的基于INR的ASSR方法转换为LMF可以将计算成本降低高达99.9％，推理加速高达57倍，并节省高达76％的参数，同时保持竞争性能。代码可在https://github.com/HeZongyao/LMF上获得。

解决问题：论文旨在解决高分辨率图像超分辨率问题中计算成本高的挑战。

关键思路：论文提出了一种新的连续图像表示方法，即Latent Modulated Function（LMF），通过将高分辨率高维解码过程分解为在低分辨率高维空间中的共享潜在解码和在高分辨率低维空间中的独立渲染，实现了连续图像表示的首个计算最优范例。

其他亮点：论文使用了Controllable Multi-Scale Rendering（CMSR）算法，基于调整解码效率来提高渲染精度。实验结果表明，将现有的基于INR的ASSR方法转换为LMF可以将计算成本降低高达99.9％，加速推理高达57倍，并节省高达76％的参数，同时保持竞争性能。作者还开源了代码。

相关研究：最近的相关研究包括Local Implicit Image Function（LIIF）和Implicit Neural Representation（INR）等方法。