SAM-Med3D-MoE: Towards a Non-Forgetting Segment Anything Model via Mixture of Experts for 3D Medical Image Segmentation

体积医学图像分割对于提高疾病诊断、治疗规划和推进医学研究至关重要。虽然现有的医学图像分割体积模型，如SAM-Med3D和SegVol，在一般器官和肿瘤方面表现出色，但它们在临床下游任务中分割某些类别的能力仍然有限。监督微调（SFT）是一种有效的方法，可以将这些基础模型适应于特定任务的下游任务，但代价是降低了原始基础模型中存储的一般知识。为了解决这个问题，我们提出了SAM-Med3D-MoE，这是一个新颖的框架，它将任务特定的微调模型与基础模型无缝地集成在一起，以极小的额外训练成本创建一个统一模型，只需额外添加一个门控网络。这个门控网络与选择策略结合起来，使得统一模型在各自任务中的性能与原始模型相当，无论是一般的还是专门的，而不需要更新它们的任何参数。我们的全面实验证明了SAM-Med3D-MoE的有效性，在15个特定类别上，平均Dice性能从53提高到56.4。它在脊髓、食道和右髋部分别获得了29.6、8.5和11.2的显著增益。此外，它在具有挑战性的SPPIN2023挑战赛中实现了48.9的Dice，显著超过了32.3的一般专家性能。我们预计，SAM-Med3D-MoE可以作为将基础模型适应于医学图像分析特定领域的新框架。代码和数据集将公开发布。

SAM-Med3D-MoE: 一种新型的医学图像分割框架，试图解决特定类别医学图像分割的问题。

将特定任务的微调模型与基础模型无缝集成，使用额外的门控网络实现选择策略，从而在不更新任何参数的情况下实现与原模型相当的性能。

SAM-Med3D-MoE在15个特定类别的医学图像分割中平均Dice性能从53提高到56.4，尤其在脊髓、食道和右髋部等方面获得了显著的增益。此外，它在具有挑战性的SPPIN2023挑战赛中获得了48.9的Dice，显著超过专家的32.3。代码和数据集将公开发布。

与此论文相关的研究包括SAM-Med3D和SegVol等基础模型的研究，以及其他医学图像分割方案的研究，如深度学习和卷积神经网络等。