I2I-Mamba: Multi-modal medical image synthesis via selective state space modeling

近年来，由transformer组件组成的深度学习模型在医学图像合成任务中推动了性能的提升。与使用静态局部滤波器的卷积神经网络（CNN）不同，transformer使用自注意机制，允许自适应的非局部滤波，以敏感地捕捉长程上下文。然而，这种敏感性以巨大的模型复杂性为代价，这可能会损害在相对较小的成像数据集上的学习效果。在这里，我们提出了一种新的对抗模型，用于多模态医学图像合成，即I2I-Mamba，它利用选择性状态空间建模（SSM）来高效地捕捉长程上下文，同时保持局部精度。为了做到这一点，I2I-Mamba在卷积主干的瓶颈中注入了通道混合Mamba（cmMamba）块。在cmMamba块中，使用SSM层学习跨空间维度的上下文，并使用通道混合层学习特征图通道维度上的上下文。对于在多对比度MRI和MRI-CT协议中插值缺失图像进行了全面的演示。我们的结果表明，与基于CNN和transformer的最先进方法相比，I2I-Mamba在合成目标模态图像方面具有优越的性能。

论文旨在解决医学图像合成任务中，传统卷积神经网络（CNN）在学习长距离上下文信息时效果不佳的问题，提出了一种基于选择性状态空间建模（SSM）的新型对抗模型I2I-Mamba。

论文中提出了一种在卷积神经网络骨干网络瓶颈中注入通道混合Mamba（cmMamba）块的方法，利用SSM层和通道混合层分别学习空间和通道维度上的长距离上下文信息，从而在保持本地精度的同时高效地捕获长距离上下文信息。

论文在多模态MRI和MRI-CT协议中进行了全面的实验验证，证明了I2I-Mamba在合成目标模态图像方面的优越性，并且相比于目前流行的CNN和transformer模型具有更高的学习效率和更少的参数量。论文还开源了代码。

近年来，基于transformer的深度学习模型在医学图像合成任务中表现出色，但模型复杂度较高，容易受到数据集规模的限制。与此同时，一些基于CNN的方法也在不断发展，但在学习长距离上下文信息方面仍有局限。