Dense Monocular Motion Segmentation Using Optical Flow and Pseudo Depth Map: A Zero-Shot Approach

单个移动相机的运动分割是计算机视觉领域中的一个重要挑战。这个挑战受到了未知的相机运动和场景深度信息缺失的影响。虽然深度学习在解决这些问题方面表现出了惊人的能力，但是有监督的模型需要在大规模注释数据集上进行广泛的训练，而无监督的模型也需要在大量未注释的数据上进行训练，这两种方法都存在显著的障碍。相比之下，基于光流的传统方法不需要训练数据，但它们经常无法捕捉到对象级别的信息，导致过度分割或欠分割。此外，在具有重要深度变化和非刚性运动的复杂场景中，它们也很难处理，因为它们过度依赖光流。为了克服这些挑战，我们提出了一种创新的混合方法，利用了深度学习方法和传统的基于光流的方法的优势，以执行密集的运动分割而不需要任何训练。我们的方法通过使用基础模型自动为每个帧生成对象提议来启动。然后，使用光流和相对深度图作为运动线索将这些提议聚类为不同的运动组。来自最先进的单目深度估计模型的深度图的整合显着增强了光流提供的运动线索，特别是在处理运动视差问题方面。我们的方法在DAVIS-Moving和YTVOS-Moving数据集上进行评估，结果表明我们的方法优于最佳无监督方法，并与最先进的有监督方法相匹配。

解决问题：论文旨在解决单个移动相机的运动分割问题，该问题在计算机视觉领域中具有挑战性，尤其是在缺乏深度信息和未知相机运动的情况下。

关键思路：该论文提出了一种创新的混合方法，将深度学习方法和基于光流的传统方法相结合，以实现密集的运动分割，无需任何训练。该方法使用基础模型自动生成每帧的对象提议，并使用光流和相对深度图作为运动线索将这些提议聚类为不同的运动组。

其他亮点：该方法使用最先进的单目深度估计模型导出的深度图显著增强了光流提供的运动线索，特别是在处理运动视差问题方面。该方法在DAVIS-Moving和YTVOS-Moving数据集上进行了评估，结果表明，该方法优于最佳无监督方法，并与最先进的监督方法相当。

相关研究：最近的相关研究包括：1）Video Object Segmentation Using Space-Time Memory Networks，2）Fast Video Object Segmentation by Reference-Guided Mask Propagation，3）End-to-End Inter-Frame Prioritized Prediction for Video Object Segmentation