ESP-MedSAM: Efficient Self-Prompting SAM for Universal Domain-Generalized Medical Image Segmentation

Segment Anything Model（SAM）已经证明在医学图像分割方面具有出色的适应性，但仍面临三个主要挑战。首先，SAM的巨大计算成本限制了其在实际应用中的适用性。其次，SAM依赖于手动注释（例如点、框），这在临床场景下是费力且不切实际的。第三，SAM平等地处理所有分割目标，这对于具有固有异质性的多样化医学模态是次优的。为了解决这些问题，我们提出了一种用于通用医学图像分割的高效自我提示SAM，称为ESP-MedSAM。我们设计了一种多模态解耦知识蒸馏（MMDKD）策略，从基础模型中提取公共图像知识和特定领域的医学知识，以训练轻量级图像编码器和模态控制器。此外，它们与额外引入的自举补丁提示生成器（SPPG）和查询解耦模态解码器（QDMD）相结合，构成了ESP-MedSAM。具体而言，SPPG旨在自动生成一组补丁提示，而QDMD利用一对一策略为每个模态提供独立的解码通道。大量实验表明，ESP-MedSAM在各种医学图像分割任务中优于现有技术，具有卓越的零-shot学习和模态转移能力。特别是，与SAM-Base相比，我们的框架仅使用31.4％的参数。

本论文旨在解决Segment Anything Model（SAM）在医学图像分割中存在的三个主要挑战：计算成本高、需要手动注释、不能处理不同的分割目标的问题。

论文提出了一种名为ESP-MedSAM的通用医学图像分割方法，采用多模态解耦知识蒸馏（MMDKD）策略来训练轻量级图像编码器和模态控制器，结合自动化的自补丁提示生成器（SPPG）和查询解耦模态解码器（QDMD），以解决SAM的问题。

论文的亮点包括使用MMDKD策略来训练轻量级图像编码器和模态控制器，引入SPPG和QDMD来构建ESP-MedSAM，实现了优异的零样本学习和模态转移能力，仅使用了SAM-Base的31.4％的参数。实验结果表明，ESP-MedSAM在各种医学图像分割任务中表现优异。

与该论文相关的研究包括医学图像分割中使用的其他深度学习方法，如U-Net和SegNet等。