Moving Object Segmentation: All You Need Is SAM (and Flow)

本文的目标是运动分割——在视频中发现和分割移动物体。这是一个经过深入研究的领域，有许多仔细、有时复杂的方法和训练方案，包括：自我监督学习、从合成数据集学习、以物体为中心的表示、非模态表示等等。我们在本文中的兴趣在于确定Segment Anything模型（SAM）是否能为此任务做出贡献。我们研究了两种模型，将SAM与光流相结合，利用SAM的分割能力和光流发现和分组移动物体的能力。在第一个模型中，我们将SAM调整为以光流而非RGB作为输入。在第二个模型中，SAM以RGB作为输入，流被用作分割提示。这些令人惊讶的简单方法，在没有任何进一步修改的情况下，在单个和多个对象基准测试中均优于以往所有方法。我们还将这些帧级分割扩展到序列级分割，以保持对象的身份。同样，这个简单的模型在多个视频对象分割基准测试中优于以前的方法。

本文的目标是运动分割——在视频中发现和分割移动物体。这是一个经过广泛研究的领域，本文试图验证Segment Anything模型（SAM）是否能够为此任务做出贡献。

本文提出了两种结合光流和SAM模型的方法，利用SAM的分割能力和光流的发现和分组移动物体的能力。第一种方法将SAM适应为以光流而不是RGB作为输入，第二种方法将SAM以RGB作为输入，并使用光流作为分割提示。这些方法在单个和多个物体基准测试中均优于以前的方法。

本文的亮点在于提出的方法简单有效，在不做任何进一步修改的情况下，就能比以前的方法有更好的表现。实验设计了多个视频对象分割基准测试，并将帧级分割扩展到序列级分割，保持物体的身份。此外，本文还在多个数据集上进行了实验，并开源了代码。

最近在这个领域中，还有一些相关的研究，如：self-supervised learning, learning from synthetic datasets, object-centric representations, amodal representations等。