The Power of Context: How Multimodality Improves Image Super-Resolution

单图像超分辨率（SISR）仍然具有挑战性，因为从低分辨率输入中恢复精细细节并保持感知质量存在固有难度。现有方法通常依赖有限的图像先验知识，导致结果次优。我们提出了一种新颖的方法，利用多种模态中丰富的上下文信息——包括深度、分割、边缘和文本提示——在扩散模型框架内学习强大的生成先验以用于SISR任务。我们引入了一种灵活的网络架构，能够有效地融合多模态信息，适应任意数量的输入模态，而无需对扩散过程进行重大修改。关键的是，我们通过利用其他模态的空间信息来引导基于区域的文本条件，从而减轻了文本提示常引入的幻觉问题。每种模态的引导强度还可以独立控制，从而使输出可以朝不同方向调整，例如通过深度增加虚化效果或通过分割调整物体突出程度。大量实验表明，我们的模型超越了最先进的生成式SISR方法，在视觉质量和保真度方面表现优异。项目页面请访问 https://mmsr.kfmei.com/。

论文试图解决单图像超分辨率（SISR）中的两个核心问题：如何从低分辨率输入中恢复精细细节，以及如何在生成高分辨率图像时保持感知质量。这是一个经典但仍然具有挑战性的问题，尤其是在仅依赖有限图像先验的情况下，现有方法往往效果不佳。

论文提出了一种基于扩散模型框架的新方法，通过融合多模态信息（如深度、分割、边缘和文本提示）来学习更强大的生成先验。其关键创新在于引入了一个灵活的网络架构，能够无缝整合任意数量的模态输入，并通过空间信息引导区域条件化来减少由文本提示可能引发的幻觉现象。此外，该方法允许独立控制每种模态的指导强度，从而实现对输出风格的精细调整。

1. 提出了一个灵活的多模态融合架构，支持多种输入模态而无需大幅修改扩散模型；2. 使用深度、分割等信息引导文本条件化，有效减少幻觉现象；3. 通过独立调节各模态的权重，实现了对输出图像风格的可控性；4. 实验表明，该方法在视觉质量和保真度上超越了当前最先进的SISR方法；5. 论文提供了项目页面（https://mmsr.kfmei.com/），可能包含更多资源或代码。

近期相关研究包括：1. 利用生成对抗网络（GAN）进行SISR的任务，例如ESRGAN和Real-ESRGAN；2. 基于扩散模型的图像生成与修复工作，如Denoising Diffusion Probabilistic Models (DDPM) 和 Stable Diffusion；3. 多模态图像处理的研究，例如CLIP-guided diffusion models；4. 其他结合深度或分割信息的SISR方法，如Depth-assisted Super-Resolution Networks。