Towards Realistic Data Generation for Real-World Super-Resolution

2024年06月11日
  • 简介
    现有的图像超分辨率(SR)技术通常在复杂的现实环境中无法有效地推广,因为训练数据与实际场景之间存在显著的差异。为了解决这一挑战,以前的研究要么手动模拟复杂的基于物理的退化,要么利用基于学习的技术,但这些方法对于同时生成大规模、逼真和多样化的数据仍然不足。在本文中,我们介绍了一种新颖的逼真解耦数据生成器(RealDGen),这是一个专为现实世界超分辨率设计的无监督学习数据生成框架。我们精心开发了内容和退化提取策略,将其整合到一种新颖的内容-退化解耦扩散模型中,从未配对的真实LR和HR图像中创建逼真的低分辨率图像。广泛的实验表明,RealDGen在生成大规模、高质量的配对数据方面表现出色,这些数据反映了现实世界的退化情况,显著提高了流行的SR模型在各种现实世界基准测试中的性能。
  • 图表
  • 解决问题
    论文旨在解决现有图像超分辨率技术在实际场景中泛化能力不足的问题,提出了一个新的数据生成框架RealDGen。
  • 关键思路
    RealDGen是一个无监督学习的数据生成框架,通过将内容和降质信息分离,使用扩散模型生成逼真的低分辨率图像,从而获得大规模、高质量的配对数据,提高了现有超分辨率模型的性能。
  • 其它亮点
    论文设计了一个内容-降质分离的扩散模型,实现了从未配对的低分辨率和高分辨率图像中生成大规模、逼真的配对数据;实验结果表明RealDGen在多个实际场景数据集上的表现优于其他方法。
  • 相关研究
    近期的相关研究包括:'Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data','Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation'等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论