I2I-Mamba: Multi-modal medical image synthesis via selective state space modeling

近年来，由变形器组件构成的深度学习模型在医学图像合成任务中推动了性能的提升。与使用静态、局部滤波器的卷积神经网络（CNN）不同，变形器使用自注意机制来允许自适应的、非局部的滤波，以敏感地捕捉长距离上下文。然而，这种敏感性是以相当大的模型复杂度为代价的，这可能会损害学习效果，特别是在相对较小的成像数据集上。在这里，我们提出了一种新颖的对抗模型，用于多模态医学图像合成，名为I2I-Mamba，它利用选择性状态空间建模（SSM）来有效地捕捉长距离上下文，同时保持局部精度。为了实现这一点，I2I-Mamba在卷积骨干的瓶颈中注入了通道混合的Mamba（cmMamba）块。在cmMamba块中，使用SSM层来学习空间维度上的上下文，并使用通道混合层来学习特征图通道维度上的上下文。我们全面地演示了在多对比度MRI和MRI-CT协议中插值缺失图像的效果。我们的结果表明，相比于基于CNN和变形器的最先进方法，I2I-Mamba在合成目标模态图像方面具有更优异的性能。

本文旨在解决医学图像合成任务中，深度学习模型的复杂度过高，导致在小规模数据集上学习效果不理想的问题。同时，提出了一种新的模型I2I-Mamba，用于多模态医学图像合成。

文章提出了一种名为I2I-Mamba的模型，它在卷积神经网络的瓶颈处注入了通道混合Mamba块（cmMamba），以实现高效地捕捉长距离上下文信息。cmMamba块使用选择性状态空间建模（SSM）层来学习空间维度上的上下文信息，使用通道混合层来学习通道维度上的上下文信息。

本文的实验结果表明，I2I-Mamba在多模态MRI和MRI-CT协议中的缺失图像插值任务中，相比于当前最先进的CNN和Transformer方法，具有更好的性能。此外，本文还介绍了SSM层和通道混合层的具体实现，并提供了开源代码。

近年来，基于Transformer组件的深度学习模型在医学图像合成任务中表现出色。在CNN使用静态局部过滤器的情况下，Transformer使用自注意机制来进行自适应的非局部过滤，以敏感地捕捉长距离上下文信息。然而，这种敏感性以模型复杂度为代价，可能会影响在相对较小的数据集上的学习效果。