Align3R: Aligned Monocular Depth Estimation for Dynamic Videos

最近的单目深度估计方法能够对单视图图像进行高质量的深度估计，但在不同帧之间无法估计出一致的视频深度。近期的一些研究通过应用视频扩散模型来生成基于输入视频的视频深度，以解决这一问题，但这种方法训练成本高，并且只能产生无尺度变化的深度值，而不能提供相机姿态。在本文中，我们提出了一种新的视频深度估计方法，称为Align3R，用于为动态视频估计时间上一致的深度图。我们的核心思想是利用最近的DUSt3R模型来对齐不同时间步长的估计单目深度图。首先，我们使用额外的估计单目深度作为输入，对DUSt3R模型进行微调，以适应动态场景。然后，我们应用优化技术来重建深度图和相机姿态。大量的实验表明，Align3R在单目视频中估计出的时间一致的视频深度和相机姿态，性能优于基线方法。

该论文试图解决单目视频深度估计中的时间一致性问题，即在不同帧之间生成一致的深度图。这是一个现有方法难以解决的问题，因为大多数现有的单目深度估计方法只能处理静态图像，无法处理动态视频中的时间一致性。

论文的关键思路是利用DUSt3R模型来对齐不同时间步的单目深度图，并通过优化同时重建深度图和相机姿态。这种方法的新颖之处在于结合了单目深度估计和相机姿态估计，从而在动态场景中实现时间一致性的深度估计。

论文通过广泛的实验验证了Align3R方法的有效性，展示了其在多个数据集上的优越性能。此外，论文还提供了开源代码，方便其他研究者复现和进一步改进。未来的研究可以探索在更大规模的数据集上应用该方法，或将其扩展到多视角场景。

最近在这个领域中，还有一些相关的研究，例如： 1. "Monocular Depth Estimation via Listwise Ranking using Angular Loss" - 提出了通过列表排序和角度损失来改进单目深度估计的方法。 2. "Video Depth Estimation Using Temporal Consistency and Pose Estimation" - 研究了如何通过时间一致性和姿态估计来提高视频深度估计的质量。 3. "Learning to Estimate Dynamic Scene Geometry from a Moving Camera" - 探讨了从移动相机中学习动态场景几何的方法。