DVMSR: Distillated Vision Mamba for Efficient Super-Resolution

2024年05月05日
  • 简介
    高效图像超分辨率(SR)旨在通过最小化计算复杂度和网络参数来加速SR网络推理,并保持性能。现有的最先进的高效图像超分辨率方法基于卷积神经网络。目前很少有尝试使用Mamba来利用其长程建模能力和高效的计算复杂度,而Mamba已在高级视觉任务中展现出卓越的性能。本文提出了一种新颖的轻量级图像SR网络DVMSR,它结合了Vision Mamba和蒸馏策略。DVMSR的网络由三个模块组成:特征提取卷积、多个堆叠的残差状态空间块(RSSB)和重建模块。具体而言,深度特征提取模块由多个残差状态空间块(RSSB)组成,每个RSSB都有多个Vision Mamba模块(ViMM)和一个残差连接。为了在保持可比性能的同时实现效率提升,我们采用了一种蒸馏策略来对Vision Mamba网络进行优化。具体而言,我们利用教师网络的丰富表示知识作为轻量级学生网络输出的附加监督。广泛的实验表明,我们提出的DVMSR在模型参数方面优于现有的最先进的高效SR方法,同时保持了PSNR和SSIM的性能。源代码可在https://github.com/nathan66666/DVMSR.git上获得。
  • 图表
  • 解决问题
    提高图像超分辨率的效率和性能
  • 关键思路
    提出了一种轻量级图像超分辨率网络DVMSR,结合Vision Mamba和蒸馏策略,通过减少计算复杂度和网络参数来提高效率,同时保持性能
  • 其它亮点
    使用了Vision Mamba和蒸馏策略来提高网络的效率和性能,实验结果表明该方法在模型参数方面优于现有的方法,同时保持了PSNR和SSIM的性能,开源代码可用
  • 相关研究
    近期的相关研究包括Efficient Image Super-Resolution Based on Convolutional Neural Networks等
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论