A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts

脑部病变分割在神经学研究和诊断中起着至关重要的作用。由于脑部病变可能由各种病理变化引起，不同类型的脑部病变在不同的成像模式下往往表现出不同的特征。由于这种复杂性，脑部病变分割方法通常以任务特定的方式开发。为特定的病变类型和成像模式开发了特定的分割模型。然而，使用任务特定模型需要预先确定病变类型和成像模式，这使得它们在实际场景中的部署变得复杂。在本文中，我们提出了一个通用的3D脑部病变分割基础模型，可以自动分割不同类型的脑部病变，适用于各种成像模式的输入数据。我们使用多个专家网络参与不同的成像模式，构建了一个新的混合模态专家（MoME）框架。一个分层门控网络结合专家预测并促进专业技能的协作。此外，我们在训练过程中引入了课程学习策略，以避免每个专家网络的退化并保留其专业化。我们在九个脑部病变数据集上评估了所提出的方法，涵盖了五种成像模式和八种病变类型。结果表明，我们的模型优于最先进的通用模型，并提供了对未见数据集的有希望的泛化。

提出一种通用的3D脑部病变分割模型，可以自动分割不同类型的脑部病变，适用于多种成像模态。

采用多模态专家（MoME）框架，多个专家网络分别处理不同成像模态的数据，通过分层门控网络将各个专家的预测结果结合起来，避免过拟合。

论文在9个脑部病变数据集上进行了实验，包括5种成像模态和8种病变类型。结果表明，该模型优于现有的通用模型，并对未见过的数据集有良好的泛化能力。

最近的相关研究包括《Multi-Modal Brain Tumor Segmentation Using Stacked Denoising Autoencoders》、《A Survey on Deep Learning in Medical Image Analysis》等。