ASPS: Augmented Segment Anything Model for Polyp Segmentation

息肉分割在结直肠癌诊断中起着关键作用。最近，Segment Anything Model（SAM）的出现为息肉分割带来了前所未有的潜力，利用其在大规模数据集上的强大预训练能力。然而，由于自然图像和内窥镜图像之间的领域差距，SAM在实现有效的息肉分割方面遇到了两个限制。首先，其基于Transformer的结构优先考虑全局和低频信息，可能忽略局部细节并引入偏差到学习特征中。其次，当应用于内窥镜图像时，其差劣的分布外（OOD）性能导致次标准的预测和有偏置的置信度输出。为了解决这些挑战，我们引入了一种名为增强型SAM（ASPS）的新方法，配备两个模块：交叉分支特征增强（CFA）和不确定性引导的预测规范化（UPR）。CFA将可训练的CNN编码器分支与冻结的ViT编码器集成在一起，从而在增强本领域知识的同时增强局部特征和高频细节。此外，UPR巧妙地利用SAM的IoU分数在训练过程中减轻不确定性，从而提高OOD性能和领域泛化能力。广泛的实验结果证明了所提出方法在提高SAM在息肉分割中的性能和实用性方面的有效性。我们的代码可在https://github.com/HuiqianLi/ASPS上获得。

本论文旨在解决Segment Anything Model (SAM)在结肠息肉分割方面的局限性，包括局部细节信息不足和在端oscopy图像上的性能不佳。

本论文提出了一种名为Augmented SAM for Polyp Segmentation (ASPS)的方法，其中包括Cross-branch Feature Augmentation (CFA)和Uncertainty-guided Prediction Regularization (UPR)两个模块。

实验结果表明，ASPS方法能够有效地提高SAM在结肠息肉分割方面的性能。论文提供了代码并使用了公开数据集。

在结肠息肉分割领域的相关研究包括："DeepLesion: Automated Deep Mining, Categorization and Diagnosis of Significant Lesions from CT Scans"和"Polyp Segmentation via Hybrid Deep Learning with Efficient Convolutional Neural Network and Dense Block"。