MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation

医学图像的解剖结构和病理分割对于现代临床诊断、疾病研究和治疗规划至关重要。迄今为止，基于深度学习的分割技术取得了巨大进展，但大多数方法仍然缺乏数据效率、泛化能力和交互性。因此，在医学图像分析中，开发需要较少标记数据集的新的精确分割方法至关重要。最近，基础模型（如CLIP和Segment-Anything-Model（SAM））的出现，具有全面的跨域表示，为交互式和通用图像分割打开了大门。然而，探索这些模型以实现数据有效的医学图像分割仍然有限，但这是非常必要的。在本文中，我们提出了一个新的框架，称为MedCLIP-SAM，结合了CLIP和SAM模型，使用文本提示在零样本和弱监督设置下生成临床扫描的分割。为了实现这一目标，我们采用了一种新的解耦硬负噪声对比估计（DHN-NCE）损失，对BiomedCLIP模型进行微调，并使用最近的gScoreCAM生成提示，以在零样本设置下从SAM获取分割掩模。此外，我们探索了在弱监督范式中使用零样本分割标签以进一步提高分割质量。通过广泛测试三个不同的分割任务和医学图像模态（乳腺肿瘤超声、脑肿瘤MRI和肺X射线），我们提出的框架表现出了极高的准确性。

论文旨在提出一种结合CLIP和SAM模型的新框架，通过使用文本提示在零样本和弱监督设置下生成临床扫描的分割掩模，以实现对医学图像的数据高效分割。

MedCLIP-SAM框架将BiomedCLIP模型和gScoreCAM模型相结合，使用新的解耦硬负噪声对比估计（DHN-NCE）损失，以在零样本设置下生成提示，从而从SAM中获得分割掩模。此外，还探索了在弱监督范式下使用零样本分割标签以进一步提高分割质量。

论文通过广泛测试三种不同的分割任务和医学图像模态（乳腺肿瘤超声、脑肿瘤MRI和肺部X射线），证明了提出的框架具有出色的准确性。该论文的亮点包括使用CLIP和SAM模型的结合，以及在零样本和弱监督设置下进行的数据高效分割。

最近的相关研究包括基于深度学习的分割技术，但大多数方法仍然缺乏数据效率、普适性和交互性。同时，最近出现的基础模型，如CLIP和SAM，为交互式和通用图像分割开辟了新的道路。