UnSAMFlow: Unsupervised Optical Flow Guided by Segment Anything Model

传统的无监督光流方法由于缺乏物体级别信息而容易受到遮挡和运动边界的影响。因此，我们提出了UnSAMFlow，一种无监督光流网络，同时利用了最新的基础模型Segment Anything Model (SAM)中的物体信息。我们首先包括了一个专门针对SAM掩码的自监督语义增强模块。我们还分析了传统平滑度损失的梯度景观不佳，并提出了一种基于单应性的新平滑度定义。我们还添加了一个简单而有效的掩码特征模块，以进一步聚合物体级别的特征。通过所有这些改进，我们的方法产生了清晰的光流估计，围绕物体有清晰的边界，这优于KITTI和Sintel数据集上的最先进方法。我们的方法在不同领域具有很好的泛化能力，并且运行非常高效。

UnSAMFlow论文旨在解决传统无监督光流方法在处理遮挡和运动边界时缺乏物体级信息的问题。同时，论文还试图验证使用最新的Segment Anything Model（SAM）模型来增强物体信息的可行性。

论文提出了UnSAMFlow无监督光流网络，利用SAM模型的物体信息。论文提出了针对SAM掩码的自监督语义增强模块，并分析了传统光流平滑度损失的不足之处，并提出了一种基于单应性的新平滑度定义。此外，论文还添加了简单而有效的掩码特征模块，进一步聚合物体级特征。

论文的实验结果表明，UnSAMFlow方法在KITTI和Sintel数据集上的表现均优于当前最先进的方法。此外，该方法还具有良好的泛化性能和高效运行速度。论文还开源了代码。

在这个领域中，还有一些相关的研究，如FlowNet3D、RAFT和PWC-Net等。