Rethink Predicting the Optical Flow with the Kinetics Perspective

光流估计是低级计算机视觉中的基本任务之一，它描述了像素级的位移并可用于许多其他任务。从表面上看，光流可以视为连续帧之间像素之间的相关性，因此不断优化相关性体积可以实现出色的性能。然而，这将使方法具有灾难性的计算复杂度。不仅如此，连续帧的遮挡区域引起的误差将通过不准确的变形操作被放大。这些挑战不能仅从表面上解决，因此本文从动力学视角重新思考了光流估计。我们提出了一种结合表面和动力学信息的方法。所提出的方法直接从图像提取的特征预测光流，而不是构建相关性体积，这将提高整个网络的效率。同时，所提出的方法涉及一种新的可微分变形操作，同时考虑变形和遮挡。此外，所提出的方法通过新颖的自监督损失函数将动力学特征与表面特征混合。此外，全面的实验和消融研究证明了所提出的关于如何预测光流的新见解可以实现比现有最先进方法更好的性能，在某些指标上，所提出的方法优于基于相关性的方法，特别是在包含遮挡和快速移动的情况下。代码将公开发布。

本论文旨在从运动学的角度重新思考光流估计问题，提出一种新的方法来解决光流估计中的挑战，如计算复杂度高、不准确的变形操作以及遮挡问题等。

本论文的关键思路是将运动学特征与表观特征相结合，直接从图像特征中预测光流，使用新的可微分变形操作同时考虑变形和遮挡，以及使用自监督损失函数将运动学特征与表观特征相结合。

本论文的亮点包括：1. 提出了一种新的从运动学角度解决光流估计问题的方法；2. 直接从图像特征中预测光流，提高了整个网络的效率；3. 使用新的可微分变形操作同时考虑变形和遮挡，提高了估计的准确性；4. 使用自监督损失函数将运动学特征与表观特征相结合，提高了光流估计的性能；5. 在多个数据集上进行了全面的实验和消融研究，证明了该方法的有效性和优越性。

在这个领域中的其他相关研究包括：1. FlowNet2.0: Evolution of Optical Flow Estimation with Deep Networks; 2. PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume; 3. LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation.