DoubleTake: Geometry Guided Depth Estimation

估计一系列RGB图像的深度是计算机视觉中的一个基本任务，可以应用于增强现实、路径规划等领域。之前的研究通常在多视角立体视觉框架中利用前面的帧，依靠匹配局部邻域中的纹理。相比之下，我们的模型通过将最新的3D几何数据作为额外输入提供历史预测的依据。这个自动生成的几何提示可以编码场景中未被关键帧覆盖的区域的信息，并且与之前帧的单独预测深度图相比更加规则化。我们引入了一个Hint MLP，将代价体积特征与先前几何的提示相结合，从当前相机位置渲染为深度图，以及一个衡量先前几何置信度的度量。我们证明了我们的方法可以以交互速度运行，在离线和增量评估场景中实现了深度和3D场景重建的最新估计。

本论文旨在解决从一系列RGB图像中估计深度的问题，通过利用历史预测数据来提供额外的几何信息来提高深度估计的精度。

本文提出了一种Hint MLP模型，将代价体积特征与来自当前相机位置的深度图形成的先前几何信息的提示相结合，以及先前几何的置信度的度量。

本文的亮点包括使用历史预测数据来提供额外的几何信息，提高深度估计的精度；使用Hint MLP模型，将代价体积特征与先前几何信息的提示相结合；实验结果表明，该方法在离线和增量评估场景中都能实现最先进的深度和三维场景重建估计。

最近在这个领域中，还有一些相关的研究被进行，如《Unsupervised Learning of Depth and Ego-Motion from Video》、《Monocular Depth Estimation with Hierarchical Fusion of Dilated CNNs and Soft-Weighted-Sum Inference》等。