Soft Masked Mamba Diffusion Model for CT to MRI Conversion

2024年06月22日
  • 简介
    磁共振成像(MRI)和计算机断层扫描(CT)是医学成像领域中广泛使用的技术。虽然MRI可以比CT更详细地捕捉解剖结构的复杂性,但它需要更高的财务成本和更长的图像获取时间。本研究旨在使用潜在扩散模型对CT进行MRI转换,并用称为Mamba的状态空间模型(SSM)替换常用的U-Net或Transformer骨干。首先,我们注意到大多数基于Mamba的视觉方法扫描方案存在关键的疏漏,包括对补丁标记的空间连续性的不充分关注以及对它们在目标任务中的不同重要性的缺乏考虑。其次,基于这一认识,我们引入了Diffusion Mamba(DiffMa),采用软掩蔽将交叉序列注意力集成到Mamba中,并以螺旋方式进行选择性扫描。最后,广泛的实验表明,DiffMa在医学图像生成任务中表现出了令人印象深刻的性能,在输入缩放效率方面具有显着优势,超过了现有基准模型。代码和模型可在https://github.com/wongzbb/DiffMa-Diffusion-Mamba上获得。
  • 图表
  • 解决问题
    本论文旨在使用潜在扩散模型(Mamba)进行CT到MRI转换,解决MRI成本高、图像获取时间长的问题。
  • 关键思路
    论文提出了一种新的扩散Mamba模型(DiffMa),通过软掩码将交叉序列注意力集成到Mamba中,并以螺旋方式进行选择性扫描,以提高输入缩放效率。
  • 其它亮点
    DiffMa在医学图像生成任务中表现出色,在输入缩放效率方面具有显著优势。代码和模型可在https://github.com/wongzbb/DiffMa-Diffusion-Mamba上获得。
  • 相关研究
    最近的相关研究包括使用U-Net或Transformer骨干的CT到MRI转换模型。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论