Self-Supervised Monocular Depth Estimation in the Dark: Towards Data Distribution Compensation

最近几年，夜间自监督单目深度估计受到了越来越多的关注。然而，使用夜间图像进行自监督是不可靠的，因为在复杂照明条件下拍摄的视频通常违反光度一致性假设。即使进行了领域适应或光度损失修复，性能仍受到夜间图像对可训练网络的差强人意的监督。在本文中，我们提出了一种自监督夜间单目深度估计方法，不使用任何夜间图像进行训练。我们的框架利用白天图像作为稳定的自监督来源，并应用物理先验知识（例如波动光学、反射模型和读出噪声模型）来补偿一些关键的昼夜差异。通过进行日夜数据分布补偿，我们的框架可以在高效的单阶段自监督方式下进行训练。尽管在训练过程中没有考虑任何夜间图像，但定性和定量结果表明，与现有方法相比，我们的方法在具有挑战性的nuScenes-Night和RobotCar-Night数据集上实现了最先进的深度估计结果。

本文试图解决使用夜间图像进行自监督单目深度估计的不可靠性问题，提出一种不使用夜间图像进行训练的自监督夜间单目深度估计方法。

该方法利用白天图像作为稳定的自监督来源，并应用物理先验来补偿一些关键的昼夜差异，通过昼夜数据分布的补偿，能够在高效的单阶段自监督训练中获得优秀的深度估计结果。

本文的实验结果表明，该方法在挑战性的nuScenes-Night和RobotCar-Night数据集上实现了SoTA深度估计结果，而且不需要使用夜间图像进行训练。此外，本文还开源了代码。

与本文相关的研究包括：《Unsupervised Monocular Depth Estimation with Left-Right Consistency》、《Monocular Depth Estimation with Hierarchical Fusion of Dilated CNNs and Soft-weighted Sum Inference》等。