A Multimodal Feature Distillation with CNN-Transformer Network for Brain Tumor Segmentation with Incomplete Modalities

现有的脑肿瘤分割方法通常利用脑肿瘤图像中的多个磁共振成像（MRI）模态进行分割，这可以实现更好的分割性能。然而，在临床应用中，由于资源限制，一些模态缺失，导致应用完整模态分割方法的性能严重下降。本文提出了一种基于卷积神经网络（CNN）-Transformer混合网络的多模态特征蒸馏（MFD）用于缺失模态的精确脑肿瘤分割。我们首先设计了一个MFD模块，将特征级多模态知识蒸馏成不同的单模态，以提取完整的模态信息。我们进一步开发了一个单模态特征增强（UFE）模块，用于语义建模全局和局部信息之间的关系。最后，我们构建了一个交叉模态融合（CMF）模块，即使某些模态缺失，也可以明确地对齐不同模态之间的全局相关性。在UFE和CMF模块中，通过CNN-Transformer混合架构对不同模态内部和跨模态的互补特征进行了精化，捕获了局部和全局的依赖关系。我们的消融研究证明了CNN-Transformer网络中提出的模块以及Transformer中的卷积块对于提高缺失模态脑肿瘤分割的性能的重要性。在BraTS2018和BraTS2020数据集上进行的广泛实验表明，所提出的MCTSeg框架在缺失模态的情况下优于现有的最先进方法。我们的代码可在 https://github.com/mkang315/MCTSeg 上获得。

提高缺失模态下的脑肿瘤分割准确性。

提出了Multimodal feature distillation with Convolutional Neural Network (CNN)-Transformer hybrid network (MCTSeg)框架，包括Multimodal Feature Distillation (MFD)模块、Unimodal Feature Enhancement (UFE)模块和Cross-Modal Fusion (CMF)模块，通过CNN-Transformer混合架构捕获局部和全局依赖关系，并显式对齐不同模态之间的全局相关性，以提高脑肿瘤分割准确性。

实验结果表明，MCTSeg框架在缺失模态下的脑肿瘤分割中，优于现有的方法。代码已经开源。

相关研究包括：1. BraTS2018和BraTS2020数据集上的其他脑肿瘤分割方法；2. 使用CNN和Transformer的其他混合架构。