Invertible Diffusion Models for Compressed Sensing

2024年03月25日
  • 简介
    本文介绍了一种名为Invertible Diffusion Models(IDM)的新型高效端到端扩散压缩感知(CS)方法,以解决现有CS神经网络需要从头开始训练的限制和部署速度慢的问题。IDM采用大规模扩散采样过程作为重建模型,并对其进行端到端微调,以直接从CS测量中恢复原始图像,跳出传统的一步噪声估计学习范式。为了实现这种内存密集型的端到端微调,我们提出了一种新的两级可逆设计,将(1)多步采样过程和(2)每个步骤中的噪声估计U-Net转换为可逆网络。实验表明,IDM在PSNR方面的表现比现有最先进的CS网络提高了最多2.64dB。与最近的扩散模型DDNM相比,我们的IDM实现了最高10.09dB的PSNR增益和14.54倍的更快推理速度。此外,我们还开发了一组轻量级模块,将测量注入到噪声估计器中,进一步促进重建。
  • 图表
  • 解决问题
    本论文旨在解决当前压缩感知神经网络需要从头开始训练的问题,提出了一种基于可逆扩散模型的高效端到端压缩感知方法。
  • 关键思路
    本文提出的Invertible Diffusion Models (IDM)利用大规模扩散采样过程作为重建模型,并进行端到端微调,以直接从压缩感知测量中恢复原始图像。
  • 其它亮点
    本文提出的IDM方法在PSNR上优于现有的压缩感知网络,比基于扩散模型的DDNM方法具有更高的PSNR增益和更快的推理速度。论文还提出了一些轻量级模块来进一步促进重建。
  • 相关研究
    与本文相关的研究包括基于扩散模型的DDNM方法以及其他压缩感知网络,如DeepInverse和TVAL3。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论