ASAM: Boosting Segment Anything Model with Adversarial Tuning

在计算机视觉不断发展的领域中，基础模型已经成为了至关重要的工具，并展现出了在各种任务中的出色适应性。其中，Meta AI的Segment Anything Model (SAM) 在图像分割领域中表现突出。然而，像其他同类模型一样，SAM 在特定的细分应用中也会遇到限制，因此需要寻找增强策略，以不损害其固有能力。本文介绍了一种名为 ASAM 的新方法，通过对抗调整来增强 SAM 的性能。我们利用自然对抗样本的潜力，受到其在自然语言处理中成功应用的启发。通过利用稳定的扩散模型，我们增加了 SA-1B 数据集的子集（1%），生成了更具代表性的对抗实例，这些实例更符合自然变化而不是传统的无法察觉的扰动。我们的方法保持了对抗样本的照片逼真性，并确保与原始掩模注释的对齐，从而保留了分割任务的完整性。经过精细调整的 ASAM 在各种分割任务中展现出了显著的改进，而不需要额外的数据或架构修改。我们广泛的评估结果证实，ASAM 在分割任务中建立了新的基准，从而有助于推进计算机视觉中的基础模型发展。我们的项目页面在 https://asam2024.github.io/。

本论文旨在增强计算机视觉中基础模型在特定领域的图像分割任务中的性能，通过对SAM模型进行对抗调整。

ASAM使用自然对抗样本的概念，通过使用稳定扩散模型扩充SA-1B数据集的子集（1％），生成更具代表性的对抗实例，从而提高SAM模型的性能，同时保留分割任务的完整性。

ASAM在不需要额外数据或架构修改的情况下，在各种分割任务中展示了显着的改进，并且维持了对抗样本的逼真度和与原始掩码注释的一致性，实验结果表明ASAM在分割任务中建立了新的基准，为计算机视觉中的基础模型的发展做出了贡献。

最近的相关研究包括对抗性样本生成和计算机视觉中基础模型的增强，如Adversarial Examples for Semantic Segmentation and Object Detection和Improving Semantic Segmentation via Video Propagation and Label Relaxation。