Multi-Scale Implicit Transformer with Re-parameterize for Arbitrary-Scale Super-Resolution

2024年03月11日
  • 简介
    最近,基于隐式神经表示的方法在任意尺度超分辨率(ASSR)方面表现出了出色的能力。虽然这些方法通过生成潜在代码来表示图像的特征,但这些潜在代码难以适应不同的超分辨率放大倍数,这严重影响了它们的性能。为了解决这个问题,我们设计了多尺度隐式变换器(MSIT),由多尺度神经操作器(MSNO)和多尺度自注意力(MSSA)组成。其中,MSNO通过特征增强、多尺度特征提取和多尺度特征融合获得多尺度潜在代码。MSSA进一步增强了潜在代码的多尺度特征,从而提高了性能。此外,为了提高网络的性能,我们提出了重新交互模块(RIM),结合累积训练策略来提高网络学习信息的多样性。我们首次系统地引入了多尺度特征来处理任意尺度超分辨率问题,进行了大量实验证明了MSIT的有效性,我们的方法在任意超分辨率任务中实现了最先进的性能。
  • 图表
  • 解决问题
    论文旨在解决基于隐式神经表示的任意尺度超分辨率方法中,难以适应不同放大倍数的超分辨率的问题。
  • 关键思路
    论文提出了一种新的多尺度隐式变换器(MSIT)方法,包括多尺度神经算子(MSNO)和多尺度自注意力(MSSA)。MSNO通过特征增强、多尺度特征提取和多尺度特征融合获得多尺度潜在编码。MSSA进一步增强了潜在编码的多尺度特征,从而提高了性能。
  • 其它亮点
    论文首次系统地引入了多尺度特征提取方法来解决任意尺度超分辨率问题。实验结果表明,MSIT方法在多个数据集上均取得了最先进的性能。此外,论文还提出了重新交互模块(RIM)和累积训练策略,以提高网络的学习能力和性能。论文开源了代码。
  • 相关研究
    在最近的相关研究中,还有一些使用隐式表示进行超分辨率的方法,例如《PIRM2018 Challenge on Perceptual Super-Resolution》、《Deep Image Prior》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论