Tri-Perspective View Decomposition for Geometry-Aware Depth Completion

深度补全是自动驾驶中的重要任务，因为它涉及从稀疏且嘈杂的深度测量中重建场景的精确三维几何形状。然而，大多数现有方法要么仅依赖于二维深度表示，要么直接使用原始三维点云进行补偿，这仍然不足以捕捉场景的细粒度三维几何形状。为了解决这个挑战，我们引入了Tri-Perspective view Decomposition (TPVD)，这是一个可以明确地建模三维几何形状的新框架。具体来说，(1) TPVD巧妙地将原始点云分解为三个二维视图，其中一个对应于稀疏深度输入。(2) 我们设计了TPV Fusion，通过经过递归的2D-3D-2D聚合来更新2D TPV特征，其中应用了一种距离感知球形卷积(DASC)。(3) 通过自适应选择TPV亲和邻居，新提出的几何空间传播网络(GSPN)进一步提高了几何一致性。因此，我们的TPVD在KITTI、NYUv2和SUN RGBD上优于现有方法。此外，我们构建了一个新的深度补全数据集TOFDC，该数据集是通过智能手机上的飞行时间(TOF)传感器和彩色相机获取的。项目页面：https://yanzq95.github.io/projectpage/TOFDC/index.html

本论文旨在解决自动驾驶中的深度完成问题，即如何从稀疏且嘈杂的深度测量中重建场景的精确3D几何形状。

本论文提出了Tri-Perspective View Decomposition（TPVD）框架，通过将原始点云巧妙地分解成三个2D视图之一来明确地建模3D几何形状。TPV Fusion通过循环的2D-3D-2D聚合来更新2D TPV特征，其中应用了Distance-Aware Spherical Convolution（DASC）。通过自适应选择TPV亲和力邻居，新提出的Geometric Spatial Propagation Network（GSPN）进一步提高了几何一致性。

本论文的亮点包括：1. 提出了TPVD框架，可以明确地建模3D几何形状；2. 使用DASC和GSPN来提高深度完成的性能；3. 构建了一个新的深度完成数据集TOFDC；4. 在KITTI、NYUv2和SUN RGBD数据集上的实验结果表明，TPVD优于现有方法。论文还提供了项目页面和开源代码。

最近的相关研究包括：1. DeepLiDAR: Deep Surface Normal Guided Depth Prediction for Outdoor Scene from Sparse LiDAR Data；2. PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud；3. StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction。