Atlantis: Enabling Underwater Depth Estimation with Stable Diffusion

近年来，由于深度学习的进步，在陆地图像上，单目深度估计取得了显著进展。然而，在水下场景中，由于数据稀缺，它仍然不足。考虑到水中光衰减和背向散射的固有挑战，获取清晰的水下图像或精确的深度信息是非常困难和昂贵的。因此，基于学习的方法通常依赖于合成数据或转向无监督或自监督方法来减轻数据缺乏的影响。然而，这些方法的性能常常受到领域差距和宽松约束的限制。本文提出了一种新的流程，用于使用准确的陆地深度数据生成逼真的水下图像。这种方法有助于训练水下深度估计的监督模型，有效降低陆地和水下环境之间的性能差距。与以往仅对陆地图像应用样式转换而不改变场景内容的合成数据集不同，我们的方法通过创新的稳定扩散模型利用陆地深度数据来创建生动的、不存在的水下场景。具体来说，我们引入了一个独特的 Depth2Underwater ControlNet，该网络在特别准备的 {水下、深度、文本} 数据三元组上进行训练，用于这个生成任务。我们新开发的数据集使得陆地深度估计模型在未见过的水下图像上实现了相当大的定量和定性改进，超过了它们的陆地预训练对应物。此外，水下场景的增强深度精度还有助于依赖深度图的水下图像恢复技术，进一步展示了我们数据集的实用性。该数据集将在 https://github.com/zkawfanx/Atlantis 上提供。

解决水下图像深度估计数据稀缺的问题，提高水下场景深度估计模型的性能。

通过使用稳定扩散模型和Depth2Underwater ControlNet，基于陆地深度数据生成逼真的水下图像，用于训练水下深度估计模型，提高其性能。

论文提出了一种新的方法来生成逼真的水下图像，使用了陆地深度数据来训练水下深度估计模型，实验结果表明该方法能够提高水下深度估计模型的性能。该方法还能够帮助水下图像恢复技术，提高其准确性。论文提供了数据集和代码。

近期的相关研究包括使用合成数据和自监督方法来解决水下图像深度估计问题，例如《Unsupervised Monocular Depth Estimation for Underwater Scenes》和《Underwater Image Enhancement Using Deep Convolutional Networks》。