Enhancing Incomplete Multi-modal Brain Tumor Segmentation with Intra-modal Asymmetry and Inter-modal Dependency

近年来，基于深度学习的多模态MRI图像脑肿瘤分割模型取得了显著进展。然而，在实践中普遍存在的一个问题是由于扫描协议和患者情况的不同，一些模态不可用，使得从不完整的MRI模态中进行分割成为一个具有挑战性的问题。先前的方法尝试通过融合可访问的多模态特征、利用注意机制和使用生成模型合成缺失模态来解决这个问题。然而，这些方法忽略了医学图像分割的固有问题，例如训练样本的有限可用性，特别是对于存在肿瘤的情况。此外，这些方法需要为每个缺失模态的子集训练和部署特定的模型。为了解决这些问题，我们提出了一种新颖的方法，从两个方面增强了BTS模型。首先，我们引入了一个预训练阶段，生成涵盖不同肿瘤形状和脑部解剖学的各种组合的多样化预训练数据集。其次，我们提出了一个后训练阶段，使模型能够在只有部分模态可用时重建预测结果中的缺失模态。为了实现预训练阶段，我们在概念上将MRI图像分解为“解剖学”和“肿瘤”两部分。我们使用来自不同训练样本的解剖学和肿瘤部分生成的合成数据来预训练BTS模型。... 大量实验证明，我们提出的方法显著提高了基线的性能，并在三个脑肿瘤分割数据集（BRATS2020、BRATS2018和BRATS2015）上实现了新的最新成果。

论文旨在解决MRI多模态图像缺失的问题，尤其是在脑肿瘤分割中，如何在部分模态缺失的情况下进行精确分割。

论文提出了一种新的方法，通过预训练和后训练两个阶段来增强BTS模型。预训练阶段通过将MRI图像分为“解剖”和“肿瘤”两部分，使用合成数据进行训练；后训练阶段可以在部分模态缺失的情况下重建缺失的模态。

论文在BRATS2020、BRATS2018和BRATS2015三个脑肿瘤分割数据集上进行了广泛的实验，证明了该方法在性能上显著优于基线，并取得了新的最佳结果。值得注意的是，该方法不需要为每个缺失模态的子集训练和部署特定的模型。

在最近的相关研究中，一些方法尝试通过融合可用的多模态特征、利用注意机制和使用生成模型合成缺失模态等方式来解决MRI多模态图像缺失的问题。例如：“Multi-modal Brain Tumor Segmentation using Stacked Denoising Autoencoders”和“Generative Adversarial Networks for Brain Tumor Segmentation in Multi-modal Images”等。