Fast Segment Anything

X Zhao, W Ding, Y An, Y Du, T Yu, M Li, M Tang, J Wang
[Chinese Academy of Sciences]

SAM模型加速

要点:

  • 动机：最近提出的Segment Anything Model (SAM)在许多计算机视觉任务中产生了重大影响，它正在成为许多高级任务的基础步骤，如图像分割、图像描述和图像编辑。然而，其巨大的计算成本阻碍了它在工业场景中的更广泛应用。计算主要来自于高分辨率输入的Transformer架构。本文提出一种加速的替代方法，用于这个基础任务，性能可比。
  • 方法：通过将任务重新构造为分割生成和提示，本文发现一个常规的CNN检测器和一个实例分割分支也可以很好地完成这个任务。具体来说，将这个任务转化为已经被深入研究的实例分割任务，并直接使用SAM作者发布的SA-1B数据集的1/50来训练现有的实例分割方法。
  • 优势：使用所提出方法，在运行速度快50倍的情况下，实现了与SAM方法相当的性能。本文提供了充足的实验结果来证明其有效性。

提出一种加速的替代方法，通过将任务重新构造为风格生成和提示，并直接使用SAM作者发布的SA-1B数据集的1/50来训练现有的实例分割方法，实现了与SAM方法相当的性能，但运行速度快50倍。

https://arxiv.org/abs/2306.12156 
图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除