Zero-Shot Metric Depth with a Field-of-View Conditioned Diffusion Model

虽然单目深度估计的方法在标准基准测试中取得了重大进展，但零样本度量深度估计仍未解决。挑战包括联合建模室内和室外场景，这些场景通常呈现出显著不同的RGB和深度分布，以及由于未知相机内参而产生的深度尺度模糊。最近的工作提出了专门的多头架构，用于联合建模室内和室外场景。相比之下，我们提倡一种通用的、任务不可知的扩散模型，具有几个先进的技术，例如对数尺度深度参数化，以实现室内和室外场景的联合建模，以视场（FOV）为条件来处理尺度模糊，并在训练期间合成FOV以超越训练数据集中有限的相机内参。此外，通过采用比常规更多样化的训练混合物和有效的扩散参数化，我们的方法DMD（Diffusion for Metric Depth）仅使用少量去噪步骤就在零样本室内和零样本室外数据集上实现了相对误差（REL）的25％和33％的降低，超越了当前SOTA。有关概述，请参见https://diffusion-vision.github.io/dmd。

论文旨在解决零样本度量深度估计问题，即如何在没有先前见过的场景和相机内参的情况下进行深度估计。

该论文提出了一种新的通用扩散模型，用于处理室内和室外场景的深度估计，并通过对视场的条件进行建模来处理深度尺度模糊。

该方法使用对抗性训练和有效的扩散参数化，实现了比当前最先进的方法更好的结果。论文还提出了一种新的对数尺度深度参数化方法，用于处理室内和室外场景的深度估计，并使用多样化的训练数据进行训练。论文还开源了代码和数据集。

与此相关的最新研究包括：Zero-shot Depth Estimation: A Survey和Zero-shot Depth Estimation using Dual-pathway Architecture and Knowledge Distillation等。