ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation

从单张图像中估计深度是一个具有挑战性的视觉任务。相对深度估计与度量深度估计相比，由于其在实际物理意义和关键应用中的重要性，度量深度估计受到更多关注。然而，现有的度量深度估计方法通常是在具有类似场景的特定数据集上进行训练，面临着跨具有显著尺度变化的场景的泛化困难。为了解决这个挑战，我们提出了一种新的单目深度估计方法，称为ScaleDepth。我们的方法将度量深度分解为场景尺度和相对深度，并分别通过语义感知尺度预测（SASP）模块和自适应相对深度估计（ARDE）模块进行预测。所提出的ScaleDepth具有几个优点。首先，SASP模块可以隐式地组合图像的结构和语义特征以预测精确的场景尺度。其次，ARDE模块可以自适应地估计归一化深度空间中每个图像的相对深度分布。第三，我们的方法在统一框架下实现了室内和室外场景的度量深度估计，无需设置深度范围或微调模型。大量实验证明，我们的方法在室内、室外、无约束和未见过的场景中均取得了最先进的性能。项目页面：https://ruijiezhu94.github.io/ScaleDepth

解决问题：论文旨在解决单张图像的度量深度估计问题，尤其是在场景尺度变化较大的情况下，现有方法的泛化能力较弱的问题。

关键思路：论文提出了一种名为ScaleDepth的度量深度估计方法，将度量深度分解为场景尺度和相对深度，并通过语义感知尺度预测模块和自适应相对深度估计模块分别进行预测。

其他亮点：ScaleDepth方法具有以下优点：1.语义感知尺度预测模块可以隐式地结合图像的结构和语义特征来预测精确的场景尺度；2.自适应相对深度估计模块可以在归一化深度空间内自适应地估计每个图像的相对深度分布；3.该方法可以在统一框架下实现室内外场景的度量深度估计，无需设置深度范围或微调模型；4.在室内、室外、无约束和未见过的场景中，该方法均取得了最先进的性能。论文还提供了项目页面和开源代码。

相关研究：最近的相关研究包括：1.《Monocular Depth Estimation using Multi-scale Continuous CRFs as Sequential Deep Networks》；2.《Deep Ordinal Regression Network for Monocular Depth Estimation》；3.《Digging Into Self-Supervised Monocular Depth Estimation》等。