CycleSAM: One-Shot Surgical Scene Segmentation using Cycle-Consistent Feature Matching to Prompt SAM

最近推出的Segment-Anything Model（SAM）有潜力大大加速分割模型的发展。然而，将SAM直接应用于外科图像存在关键限制，包括（1）测试时需要特定于图像的提示，从而防止完全自动化分割，以及（2）由于自然图像和外科图像之间存在实质性的领域差距而导致的无效性。在这项工作中，我们提出了CycleSAM，一种用于一次性外科场景分割的方法，它在测试时使用训练图像-掩模对自动识别对应于每个对象类别的测试图像中的点，然后可以使用这些点提示SAM生成对象掩模。为了产生高保真度的匹配，我们引入了一种新颖的空间循环一致性约束，强制测试图像中的点提议重新匹配到训练图像中对象前景区域内的点。然后，为了解决领域差距，我们不是直接使用SAM的视觉特征，而是采用在自我监督方式下预训练的ResNet50编码器，从而保持高标签效率。我们在两个不同的外科语义分割数据集上评估了CycleSAM的一次性分割性能，全面优于基线方法，并达到了50％的完全监督性能。

该论文旨在解决在手术图像中进行语义分割的问题，其中直接应用Segment-Anything Model (SAM)存在两个主要限制。

CycleSAM是一种一次性手术场景分割方法，它使用训练图像-掩码对在测试时自动识别与每个对象类别对应的测试图像中的点，然后可以用于提示SAM生成对象掩码。

论文的亮点包括：引入了一种新的空间循环一致性约束，以强制测试图像中的点提议重新匹配到训练图像中对象前景区域内的点；使用在自我监督模式下预训练的ResNet50编码器来解决领域差异问题；在两个手术语义分割数据集上进行了全面的实验，优于基线方法并达到了高于50%的全监督性能。

与该论文相关的研究包括：Segment-Anything Model (SAM)的原始论文，以及其他手术图像分割方法，如基于卷积神经网络的手术图像分割方法和使用深度学习的手术场景分割方法。