CasSR: Activating Image Power for Real-World Image Super-Resolution

2024年03月18日
  • 简介
    图像超分辨率的目标是从降质版本中生成干净和高分辨率的图像。最近扩散建模的进展导致了各种利用预训练文本到图像(T2I)模型的图像超分辨率技术的出现。然而,由于低分辨率图像中普遍存在的严重降质和扩散模型固有的特性,实现高保真图像恢复仍然具有挑战性。现有方法通常存在语义损失、伪影和引入不在原始图像中的虚假内容等问题。为了解决这个挑战,我们提出了级联扩散超分辨率(CasSR),这是一种旨在生成高度详细和逼真图像的新方法。具体来说,我们开发了一个级联可控扩散模型,旨在优化从低分辨率图像中提取信息。该模型生成一个初步的参考图像,以促进初始信息提取和降质缓解。此外,我们提出了一种多注意机制,以增强T2I模型在最大化恢复原始图像内容方面的能力。通过综合定性和定量分析,我们证实了我们方法的功效和优越性。
  • 图表
  • 解决问题
    本文旨在解决图像超分辨率中存在的语义损失、伪影和引入原始图像中不存在的虚假内容等问题。
  • 关键思路
    本文提出了一种级联可控扩散模型,旨在优化从低分辨率图像中提取信息的过程,并生成初步的参考图像以促进信息提取和降噪。此外,本文还提出了一种多注意机制,以增强T2I模型在最大化恢复原始图像内容方面的能力。
  • 其它亮点
    本文通过定量和定性分析,证明了该方法的有效性和优越性。实验中使用了哪些数据集和开源代码尚不清楚。
  • 相关研究
    最近的相关研究包括:"Deep Learning-based Single Image Super-Resolution: A Survey","Learning a Deep Convolutional Network for Image Super-Resolution"等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论