Bilateral Propagation Network for Depth Completion

深度完成旨在从带有同步彩色图像的稀疏深度测量中推导出密集深度图。目前最先进的方法主要是基于传播的，这些方法对最初估计的密集深度进行迭代精化。然而，初始深度估计大多数情况下是通过在稀疏深度图上直接应用卷积层得出的。本文提出了一种双边传播网络（BP-Net），该网络在最早的阶段就进行深度传播，避免了对稀疏数据进行直接卷积。具体而言，我们的方法通过非线性模型从附近深度测量中传播目标深度，该模型的系数是通过一个多层感知器生成的，该感知器受到辐射差异和空间距离的条件限制。通过将双边传播与多模态融合和深度精化结合在多尺度框架中，我们的BP-Net在室内和室外场景中表现出卓越的性能。在提交时，它在NYUv2数据集上实现了SOTA，并在KITTI深度完成基准测试中排名第一。实验结果不仅显示了双边传播的有效性，而且强调了与精化阶段相比，早期传播的重要性。我们的代码和训练模型将在项目页面上提供。

本文旨在解决稀疏深度图像完成问题，即如何从稀疏深度测量值和彩色图像中推导出密集深度图像。同时，本文试图验证通过在早期阶段进行深度传播而不是直接卷积稀疏数据的方法是否有效。

本文提出了一种双边传播网络（BP-Net）的方法，通过非线性模型将目标深度从附近的深度测量值进行传播，而不是在稀疏数据上直接卷积。该模型通过多层感知器生成双边传播的系数，并结合多模态融合和深度细化在多尺度框架中进行。相比于当前领域的研究，BP-Net的关键思路在于早期阶段进行深度传播。

本文在室内和室外场景中均取得了优异的性能，NYUv2数据集上达到了SOTA，KITTI深度完成基准测试排名第一。实验设计了多尺度框架，使用了多个数据集进行测试，并公开了代码和训练模型。

与本文相关的研究包括利用卷积神经网络进行深度完成的方法，如Deep Convolutional Gaussian Processes for Depth Completion等。