ESP-MedSAM: Efficient Self-Prompting SAM for Universal Domain-Generalized Medical Image Segmentation

深度神经网络在不同模态间的普适性以及对未知领域的泛化能力对医学图像分割至关重要。最近的“任意分割模型”（SAM）在这两个方面都展现出了潜力。然而，SAM的巨大计算成本、需要手动注释以提示和易于产生冲突的解码过程降低了其在临床场景中的普适性和适用性。为了解决这些问题，我们提出了一种高效的自提示SAM，用于通用领域广义医学图像分割，名为ESP-MedSAM。具体而言，我们首先设计了多模态解耦知识蒸馏（MMDKD）策略，构建一个轻量级的半参数共享图像编码器，为不同模态产生具有区分度的视觉特征。此外，我们引入了自补丁提示生成器（SPPG），自动生成高质量的密集提示嵌入，用于指导分割解码。最后，我们设计了查询解耦模态解码器（QDMD），利用一对一策略为每个模态提供独立的解码通道。广泛的实验表明，ESP-MedSAM在各种医学图像分割任务中优于现有技术，具有更好的模态普适性和泛化能力。特别是，与SAM-H相比，ESP-MedSAM仅使用了4.5％的参数。源代码可在https://github.com/xq141839/ESP-MedSAM上获得。

论文旨在解决医学图像分割中Segment Anything Model（SAM）的计算成本高、需要手动注释和解码过程容易出现冲突等问题，提出了一种高效的自我提示SAM（ESP-MedSAM）来实现通用域泛化医学图像分割。

通过构建轻量级半参数共享图像编码器，使用多模态解耦知识蒸馏策略生成具有判别性的视觉特征，引入自我补丁提示生成器自动生成高质量的密集提示嵌入，设计查询解耦模态解码器为每种模态提供独立解码通道来解决问题。

论文提出的ESP-MedSAM在医学图像分割任务中表现优异，具有优越的模态普适性和泛化能力。相比于SAM-H，ESP-MedSAM仅使用了4.5％的参数。作者还提供了开源代码。

在这个领域中，还有一些相关的研究，例如：1.《U-Net: Convolutional Networks for Biomedical Image Segmentation》；2.《V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation》；3.《Deep Learning for Medical Image Segmentation: A Review》等。