Dusk Till Dawn: Self-supervised Nighttime Stereo Depth Estimation using Visual Foundation Models

自监督深度估计算法在很大程度上依赖于帧变形关系，在低能见度和夜间等具有不同照明条件的挑战性情况下表现出明显的性能下降。为了解决这一挑战，我们介绍了一种旨在实现准确的自监督立体深度估计，专注于夜间情况的算法。具体而言，我们使用预先训练的视觉基础模型来提取跨具有挑战性的场景的广义特征，并提出了一种有效的方法来匹配和集成来自立体帧的这些特征。此外，为了防止违反光度一致性假设的像素对深度预测产生负面影响，我们提出了一种新的掩蔽方法来过滤这些像素。最后，为了解决当前深度估计算法评估中存在的缺陷，我们提出了新的评估指标。我们在具有挑战性的数据集（包括牛津机器人车和多光谱立体）上进行的实验表明，我们的方法实现了稳健的改进。代码可在以下网址找到：https://github.com/madhubabuv/dtd

论文旨在解决在低能见度和夜间情况下，自监督深度估计算法的性能下降问题。并提出一种有效的方法来匹配和整合从立体帧中提取的通用特征。

论文提出利用预训练的视觉基础模型提取通用特征，并使用一种新的掩码方法来过滤掉违反光度一致性假设的像素，从而实现准确的自监督深度估计。

论文使用了Oxford RobotCar和Multi-Spectral Stereo等具有挑战性的数据集进行实验，并展示了其方法的鲁棒性和性能提升。此外，论文还提出了新的评估指标，并提供了开源代码。

与此相关的研究包括：Self-Supervised Learning for Single View Depth and Surface Normal Estimation，Unsupervised Monocular Depth Estimation with Left-Right Consistency，Self-Supervised Learning of Depth and Motion Under Photometric Inconsistency等。