ScaleRAFT: Cross-Scale Recurrent All-Pairs Field Transforms for 3D Motion Estimation

本文研究从连续图像对中估计密集像素的三维运动问题。大多数先前的方法基于成熟的光流基线和深度值，将像素平面上的2D运动投影到3D空间中，并通过组合深度-运动分支和其他子模块进一步优化结果。这种堆叠的框架无法利用光流和其他模块之间的互补性，也无法摆脱对准确深度信息的依赖。为了解决上述挑战，我们提出了一种基于跨尺度匹配的标准化场景流框架ScaleRAFT。其核心特征是直接在3D尺度空间中匹配两个帧之间的对象，即在正确的位置和尺度上匹配特征。与以往的方法不同，ScaleRAFT将光流和深度运动估计集成到统一的架构中，允许光流管道和深度运动估计相互促进。此外，ScaleRAFT基于特征匹配估计深度方向的运动，摆脱了对准确深度信息的依赖。实验结果表明，在驾驶场景中的运动估计任务中，我们的方法已经取得了迄今为止最好的前景性能，并显著改进了各种下游3D任务。

本论文旨在解决从连续图像对中估计密集像素的3D运动的问题。

论文提出了一种基于跨尺度匹配的规范化场景流框架，即ScaleRAFT，其核心特征是直接在3D尺度空间中匹配两帧之间的物体，即在正确的位置和尺度匹配特征。

ScaleRAFT将光流和深度运动估计集成到统一的架构中，允许光流管道和深度运动估计相互促进。此外，ScaleRAFT基于特征匹配估计深度方向上的运动，摆脱了对准确深度信息的依赖。在实验中，该方法在驾驶场景的运动估计任务中取得了最佳前景性能，并显著改善了各种下游3D任务。

最近在这个领域中，还有一些相关的研究，如《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》和《DeepSfM: Structure From Motion Via Deep Bundle Adjustment》。