SimSAM: Zero-shot Medical Image Segmentation via Simulated Interaction

最近发布的Segment Anything Model（SAM）通过半自动注释设置展示了强大的零样本分割能力，用户可以通过点击或边界框提供提示。越来越多的人对将其应用于医学成像表示出兴趣，因为获得专家注释的成本很高，隐私限制可能会限制患者数据的共享，并且模型的泛化能力通常很差。然而，由于医学图像存在大量内在的不确定性，如不清晰的物体边界、低对比度介质和专家标注样式的差异，因此在零样本设置下，SAM在充分注释感兴趣结构的轮廓方面存在困难，因此需要大量手动校正。为了缓解这种情况，我们引入了Simulated Interaction for Segment Anything Model（SimSAM），这种方法利用模拟用户交互来生成任意数量的候选掩模，并使用新颖的聚合方法输出最兼容的掩模。关键是，我们的方法可以直接在推理过程中在SAM之上使用，无需任何额外的训练要求。在定量方面，我们在三个公开可用的医学成像数据集上评估了我们的方法，并发现与零样本SAM相比，我们的方法在轮廓分割准确性方面提高了高达15.5％。我们的代码可在\url{https://github.com/BenjaminTowle/SimSAM}上找到。

SAM在医疗影像上的零样本分割能力不足，需要大量手动修正，本文提出SimSAM解决这一问题。

SimSAM利用模拟用户交互生成多个候选掩模，并使用新的聚合方法输出最兼容的掩模，能够在推理过程中直接在SAM上使用，无需额外的训练要求。

SimSAM在三个公开的医疗影像数据集上进行了定量评估，相比于零样本SAM，轮廓分割精度提高了高达15.5％。作者公开了代码。

最近的相关研究包括使用GAN进行医疗影像分割（Chen等人，2018），以及使用强化学习进行交互式分割（Roy等人，2019）。