VMambaMorph: a Visual Mamba-based Framework with Cross-Scan Module for Deformable 3D Image Registration

2024年04月07日
  • 简介
    图像配准是医学成像中关键的过程,涉及将不同的医学成像数据对齐到一个统一的坐标系中。深度学习网络,如基于卷积神经网络(CNN)的VoxelMorph、基于视觉变换器(ViT)的TransMorph和基于状态空间模型(SSM)的MambaMorph,在这个领域中展现出了有效的性能。最近的Visual State Space Model(VMamba),结合了带有SSM的跨扫描模块,展现了在计算机视觉任务中建模全局范围依赖关系的有希望的改进,并具有高效的计算成本。本文介绍了一种名为VMambaMorph的VMamba探索方法,用于图像配准。这种新型的混合VMamba-CNN网络专门设计用于3D图像配准。利用U形网络结构,VMambaMorph基于目标和源体积计算变形场。基于2D跨扫描模块的VMamba块被重新设计用于3D体积特征处理,提出了一种细粒度特征提取模块用于高维特征学习。我们使用公共基准脑MR-CT配准数据集验证了VMambaMorph,并将其性能与当前最先进的方法进行了比较。结果表明,VMambaMorph实现了有竞争力的配准质量。VMambaMorph的代码可在GitHub上获得。
  • 图表
  • 解决问题
    本文旨在介绍一种新的深度学习网络VMambaMorph,用于医学图像配准,解决医学图像数据集不同坐标系的问题。
  • 关键思路
    VMambaMorph是一种基于VMamba和CNN的混合网络,使用U形网络结构计算目标和源数据的变形场,其中VMamba模块使用2D交叉扫描模块进行3D体积特征处理,同时提出了细粒度特征提取模块进行高维特征学习。
  • 其它亮点
    本文使用公共基准脑MR-CT注册数据集验证VMambaMorph的性能,并与当前最先进的方法进行比较,结果表明VMambaMorph具有竞争力的配准质量。VMambaMorph的代码已在GitHub上公开。
  • 相关研究
    最近的相关研究包括使用不同深度学习网络进行医学图像配准,如基于CNN的VoxelMorph、基于ViT的TransMorph和基于SSM的MambaMorph等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论