UniDepth: Universal Monocular Metric Depth Estimation

准确的单目度量深度估计（MMDE）对于解决三维感知和建模中的下游任务至关重要。然而，最近的MMDE方法的显著精度仅限于它们的训练领域。即使在存在适度的领域差距的情况下，这些方法也无法推广到未见过的领域，这限制了它们的实际适用性。我们提出了一种新的模型UniDepth，能够从单个图像中重建度量三维场景，跨领域应用。与现有的MMDE方法不同，UniDepth在推理时直接从输入图像预测度量三维点，不需要任何额外信息，力求提供一种通用和灵活的MMDE解决方案。特别地，UniDepth实现了一个自我提示的相机模块，预测密集的相机表示以调整深度特征。我们的模型利用了伪球面输出表示，将相机和深度表示分离。此外，我们提出了一种几何不变性损失，促进相机引导的深度特征的不变性。在零样本情况下对十个数据集进行全面评估，结果一致表明UniDepth的性能优于其他方法，即使与直接在测试领域训练的方法相比也是如此。代码和模型可在以下网址获得：https://github.com/lpiccinelli-eth/unidepth。

本论文旨在提出一种新的模型UniDepth，能够在不同领域中从单幅图像中重建度量三维场景，解决现有MMDE方法在跨领域泛化时的问题。

UniDepth直接从输入图像预测度量三维点，不需要额外信息，实现了一种通用和灵活的MMDE解决方案。模型利用一种伪球面输出表示，将相机和深度表示分离，并提出一种几何不变性损失，促进相机引导的深度特征的不变性。

论文在十个数据集上进行了彻底的评估，证明了UniDepth的卓越性能，即使与直接在测试领域训练的方法相比也是如此。此外，作者提供了代码和模型。

最近的相关研究包括：《D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry》、《Unsupervised Monocular Depth Estimation with Left-Right Consistency》等。