Correlation-aware Coarse-to-fine MLPs for Deformable Medical Image Registration

Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024, pp. 9645-9654
2024年05月31日
  • 简介
    可变形图像配准是医学图像分析的基本步骤。最近,变形器已被用于配准,并且表现出优于卷积神经网络(CNN)的性能。变形器可以捕捉图像特征之间的长程依赖关系,这对于配准是有益的。然而,由于自注意力计算/内存负荷高,变形器通常在下采样的特征分辨率下使用,不能以完整的图像分辨率捕捉细粒度的长程依赖关系。这限制了可变形配准,因为它需要每个图像像素之间的精确密集对应关系。没有自我关注的多层感知器(MLP)在计算/内存使用上是高效的,可以在完整分辨率下捕捉细粒度的长程依赖关系,从而实现可行性。然而,MLP在图像配准方面尚未得到广泛探索,并且缺乏对医学配准任务至关重要的归纳偏差的考虑。在本研究中,我们提出了第一个基于相关性感知的MLP配准网络(CorrMLP)用于可变形医学图像配准。我们的CorrMLP在新颖的粗到细的配准架构中引入了一个相关性感知的多窗口MLP块,以捕捉细粒度的多范围依赖关系,以执行相关性感知的粗到细配准。对七个公共医学数据集的大量实验表明,我们的CorrMLP优于最先进的可变形配准方法。
  • 图表
  • 解决问题
    本篇论文旨在解决医学图像配准中的变形图像配准问题,提出了一种基于多窗口MLP的配准网络,旨在捕捉全分辨率的细粒度长程依赖关系。
  • 关键思路
    论文提出了一种新的卷积神经网络架构,称为CorrMLP,在医学图像配准中取得了优异的性能。该网络使用多窗口MLP块来捕捉全分辨率的细粒度长程依赖关系,并且使用粗到精的配准策略,实现了精确的配准。
  • 其它亮点
    论文使用了七个公共医学数据集进行了广泛的实验,证明了CorrMLP在变形图像配准方面的优越性能。此外,论文还提出了一个基于多窗口MLP的相关性感知块,用于精确地捕捉多尺度依赖关系,这是医学图像配准中的一个重要问题。此外,论文还提供了开源代码。
  • 相关研究
    最近的研究表明,transformers在医学图像配准中具有很好的表现,但是由于计算和内存负载的限制,它们通常只能在下采样的特征分辨率上使用,而不能在全分辨率上捕捉细粒度长程依赖关系。相比之下,CorrMLP使用了多窗口MLP来解决这个问题,并在医学图像配准中取得了良好的性能。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论