Digging into contrastive learning for robust depth estimation with diffusion models

最近，基于扩散的深度估计方法因其优雅的去噪模式和有前途的性能而受到广泛关注。然而，在现实世界场景中普遍存在的恶劣条件下，如雨天、雪天等，它们通常不可靠。在本文中，我们提出了一种新的稳健深度估计方法，称为D4RD，具有针对扩散模型量身定制的自定义对比学习模式，以减轻复杂环境中的性能下降。具体而言，我们将知识蒸馏的优势融入对比学习中，构建了“三位一体”对比方案。该方案利用正向扩散过程的采样噪声作为自然参考，将不同场景中的预测噪声引导到更稳定和精确的最优解。此外，我们将噪声级别三位一体扩展到更通用的特征和图像级别，建立多级对比以分配整个网络中稳健感知的负担。在解决复杂场景之前，我们通过三个简单而有效的改进提高了基线扩散模型的稳定性，从而促进收敛并消除深度异常值。广泛的实验表明，D4RD在合成污染数据集和真实世界天气条件下超过了现有的最先进解决方案。D4RD的代码将可供进一步探索和采用。

本论文旨在提出一种新的深度估计方法D4RD，以解决在复杂环境下传统扩散模型的性能下降问题。

D4RD方法采用了定制的对比学习模式，将知识蒸馏的优势融入到对比学习中，建立了“三位一体”对比方案，将噪声引导到更稳定和精确的最优解。

论文在实验中展示了D4RD在合成污染数据集和真实天气条件下的性能优于现有的最先进解决方案。此外，作者还提出了三个简单而有效的改进，增强了扩散模型的稳定性，并消除了深度值的离群值。作者将D4RD的代码开源，以供进一步探索和采用。

最近的相关研究包括深度估计方法的改进，如基于学习的方法和基于几何的方法，以及面向复杂环境的图像增强技术的发展。