DeeDSR: Towards Real-World Image Super-Resolution via Degradation-Aware Stable Diffusion

这篇摘要讲述了扩散模型在解决超分辨率挑战方面的重要性，但这些模型往往只关注于提高局部纹理而忽视了全局降质的影响，这可能会显著降低语义保真度并导致不准确的重建和次优的超分辨率性能。为了解决这个问题，作者提出了一种新颖的、两阶段的、降质感知框架，以增强扩散模型在识别低分辨率图像中的内容和降质方面的能力。在第一阶段，作者采用无监督对比学习来获取图像降质的表示。在第二阶段，作者将一个降质感知模块集成到简化的ControlNet中，使其能够根据学习到的表示灵活地适应各种降质。此外，作者将降质感知特征分解为全局语义和局部细节分支，然后将其注入到扩散去噪模块中以调节目标生成。作者的方法有效地恢复了语义精确和照片般逼真的细节，特别是在严重降质条件下，展现了在各种基准测试中的最先进性能。代码将在https://github.com/bichunyang419/DeeDSR发布。

论文旨在解决超分辨率问题中局部纹理改善而忽略全局降级对语义保真度的影响，从而导致重建不准确和次优超分辨率性能的问题。

论文提出了一种新的两阶段、降级感知的框架，增强了扩散模型在识别低分辨率图像中的内容和降级方面的能力。第一阶段采用无监督对比学习来获取图像降级的表示。第二阶段将降级感知模块集成到简化的ControlNet中，基于学习到的表示实现对各种降级的灵活适应。此外，将降级感知特征分解为全局语义和局部细节分支，然后将其注入扩散去噪模块以调制目标生成。

论文通过实验验证了其方法在各种基准测试中具有有效恢复语义精确和照片般逼真细节的能力，特别是在严重降级条件下表现出卓越的性能。代码已在github上开源。

在这个领域中，最近的相关研究包括：1. Image Super-Resolution via Progressive Cascading Residual Network (ECCV2020) 2. Learning to Super-Resolve with Adversarial Networks (CVPR2017) 3. Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution (CVPR2017)等。