Test-Time Adaptation with SaLIP: A Cascade of SAM and CLIP for Zero shot Medical Image Segmentation

本文介绍了分段任意模型（SAM）和CLIP是杰出的视觉基础模型（VFMs）。SAM是一个驱动提示的分割模型，在不同领域的分割任务中表现出色，而CLIP则以其零样本识别能力而闻名。然而，它们的统一潜力尚未在医学图像分割中得到探索。为了使SAM适应医学成像，现有方法主要依赖于调整策略，需要大量数据或针对特定任务量身定制的提示，当仅有有限数量的数据样本可用时，这将变得特别具有挑战性。本文提出了一个深入探讨将SAM和CLIP集成到医学图像分割的统一框架中的方法。具体而言，我们提出了一个简单的统一框架SaLIP，用于器官分割。首先，SAM用于图像内的部分分割，然后使用CLIP从SAM生成的掩模池中检索与感兴趣区域（ROI）相对应的掩模。最后，SAM通过检索到的ROI进行提示，以分割特定的器官。因此，SaLIP是无需训练和微调的，不依赖于领域专业知识或标记数据进行提示工程。我们的方法在零样本分割方面显示出显着的增强，与未提示的SAM相比，在大脑（63.46％）、肺（50.11％）和胎头（30.82％）等不同分割任务中显示出显着的DICE分数改进。代码和文本提示将在网上提供。

本文旨在探索将Segment Anything Model（SAM）和CLIP集成到医学图像分割中的统一框架，以解决在医学图像分割中数据有限和需要专业知识的问题。

本文提出了一种简单的统一框架SaLIP，其中SAM用于图像的部分分割，然后CLIP从SAM生成的掩模池中检索与感兴趣区域（ROI）对应的掩模，最后SAM通过检索到的ROI进行分割。这种方法无需训练和微调，并且不依赖于领域专业知识或标记数据进行提示工程。

实验表明，相比于未提示的SAM，SaLIP在零样本分割方面显示出显著的提升，在不同的分割任务（如脑部、肺部和胎头）中，DICE得分分别提高了63.46％、50.11％和30.82％。作者将提供代码和文本提示。

最近的相关研究包括使用SAM和其他模型进行分割，例如利用SAM和U-Net进行胎儿头部分割的研究。