DaLPSR: Leverage Degradation-Aligned Language Prompt for Real-World Image Super-Resolution

图像超分辨率旨在为低分辨率图像重建高保真高分辨率的对应图像。近年来，基于扩散的模型由于其具有丰富的先验知识而受到了广泛关注。基于通用文本提示的扩散模型的成功验证了文本控制在文本到图像领域的有效性。然而，由于低分辨率图像通常存在严重的退化，并且扩散模型的随机特性，当前模型难以充分区分严重退化图像中的语义和退化信息。这经常导致语义损失、视觉伪影和视觉幻觉等障碍，这对实际使用构成了重大挑战。为了解决这些挑战，本文提出了利用退化对齐语言提示进行准确、细致和高保真图像恢复的方法。探索了包括语义内容描述和退化提示在内的互补先验。具体而言，一方面，提出了图像恢复提示对齐解码器，自动区分LR图像的退化程度，从而为图像恢复生成有益的退化先验。另一方面，预训练的多模态大语言模型提供了更丰富的定制描述，激发了与人类感知密切相关的高级语义先验，确保了图像恢复的保真度控制。在几个流行的合成和实际基准数据集上进行了全面比较。定量和定性分析表明，所提出的方法在感知质量水平上达到了新的最高水平，特别是在基于无参考度量的实际情况下。

本文旨在解决低分辨率图像重建中存在的语义丢失、视觉伪影和视觉幻觉等问题，提出了一种利用降级对齐语言提示进行精确、细致和高保真图像恢复的方法。

本文提出了一种新的降级对齐语言提示方法，通过图像恢复提示对齐解码器自动识别低分辨率图像的降级程度，生成有益的降级先验，同时使用预训练的多模态大型语言模型生成与人类感知紧密相关的高级语义先验，确保图像恢复的保真度控制。

本文在多个合成和实际基准数据集上进行了全面比较，并使用参考无损指标进行了定量和定性分析，证明了所提出方法的新的最先进的感知质量水平，尤其是在实际情况下。

在最近的相关研究中，一些关于图像超分辨率的研究包括：《Deep Learning for Single Image Super-Resolution: A Brief Review》、《A Review of Single Image Super-Resolution Using Deep Learning》、《Deep Learning for Super-Resolution: A Comprehensive Review》等。