BetterDepth: Plug-and-Play Diffusion Refiner for Zero-Shot Monocular Depth Estimation

通过对大规模数据集进行训练，零样本单目深度估计（MDE）方法在野外表现出鲁棒性，但通常在细节上缺乏足够的精度。虽然最近的基于扩散的MDE方法展现出了吸引人的细节提取能力，但由于难以从不同的数据集中获得稳健的几何先验知识，它们仍然在几何上具有挑战性的场景中表现不佳。为了充分利用这两个领域的优点，我们提出了BetterDepth，以有效实现几何正确的仿射不变MDE性能，同时捕捉细粒度的细节。具体而言，BetterDepth是一种有条件的基于扩散的细化器，它以预训练的MDE模型的预测为深度条件，其中全局深度上下文被很好地捕获，并基于输入图像迭代地细化细节。为了训练这样的细化器，我们提出了全局预对准和局部补丁屏蔽方法，以确保BetterDepth对深度条件的忠实性，同时学习捕捉细粒度的场景细节。通过在小规模合成数据集上进行高效训练，BetterDepth在不同的公共数据集和野外场景中实现了最先进的零样本MDE性能。此外，BetterDepth可以以即插即用的方式提高其他MDE模型的性能，无需额外的重新训练。

提高零样本单目深度估计的细节表现和几何稳定性。

通过引入条件扩散模型，结合预训练深度模型和图像输入来迭代地提高深度估计的细节表现和几何稳定性。

提出了BetterDepth模型，该模型通过全局预对齐和局部掩膜来训练，以保证对深度信息的忠实性和对场景细节的学习。在小规模合成数据集上进行高效训练，BetterDepth在公共数据集和野外场景中实现了最先进的零样本单目深度估计性能。此外，BetterDepth可以在不需要额外重新训练的情况下，以即插即用的方式改善其他MDE模型的性能。

相关研究包括：《Monodepth2》、《D3VO》、《PackNet-SfM》等。