MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion

多模态 MRI 提供了有价值的诊断和治疗的补充信息，但其实用性受到了长时间扫描的限制。为了加速采集过程，一种实用的方法是从欠采样的 k 空间数据中，利用扫描时间更短的全采样参考模态作为指导，重建目标模态的图像。这个任务的主要挑战是全面而有效地整合来自不同模态的互补信息，以实现高质量的重建。现有的方法存在以下问题：1）基于卷积的模型无法捕捉长距离依赖关系；2）基于 Transformer 的模型在全局特征建模方面表现出色，但在计算复杂度上存在二次复杂度的问题。为了解决这个问题，我们提出了 MMR-Mamba，这是一个新颖的框架，它充分而有效地整合了多模态 MRI 重建的特征，利用 Mamba 的能力以线性计算复杂度捕捉长距离依赖关系，并利用 Fourier 域的全局特性。具体来说，我们首先在空间域中设计了一个目标模态引导的交叉 Mamba（TCM）模块，通过选择性地整合参考模态的相关信息，最大程度地恢复目标模态的信息。然后，我们引入了一个选择性频率融合（SFF）模块，以有效地整合 Fourier 域中的全局信息，并恢复高频信号以重建结构细节。此外，我们设计了一个自适应空间频率融合（ASFF）模块，通过从一个域中补充较少信息的通道与另一个域中相应的通道相结合，相互增强空间和频率域。

论文旨在解决多模态MRI图像重建中长时间扫描所带来的限制问题，提出了一种全新的框架MMR-Mamba，旨在高效地综合不同模态的信息以实现高质量重建。

论文提出了三种模块：TCM模块、SFF模块和ASFF模块。TCM模块在空间域中最大程度地恢复目标模态信息，SFF模块在傅里叶域中高效地集成全局信息以恢复结构细节，ASFF模块通过互补不同域的信息来提高重建质量。

论文通过实验验证了MMR-Mamba框架的有效性，与现有方法相比，具有更好的重建质量和更高的效率。论文使用了多个数据集，包括人体头部图像和膝盖图像，并开源了代码。值得进一步研究的是，如何将该框架应用于其他医疗成像领域，以及如何进一步提高重建质量。

在最近的相关研究中，也有一些关于多模态MRI图像重建的工作。例如，一篇名为'Multi-contrast MRI Reconstruction with Structure-Guided Spatial Attention Network'的论文提出了一种基于空间注意力网络的多模态MRI重建方法。