DeCoTR: Enhancing Depth Completion with 2D and 3D Attentions

本文介绍了一种新颖的方法，利用2D和3D注意力实现高度准确的深度完成，无需迭代空间传播。具体而言，我们首先通过在瓶颈和跳跃连接中应用2D特征注意力来增强基线卷积深度完成模型。这有效地提高了这个简单网络的性能，并使其与最新的复杂变压器模型相媲美。利用这个网络的初始深度和特征，我们将2D特征提升到形成3D点云，并构建一个3D点变换器来处理它，使模型能够明确地学习和利用3D几何特征。此外，我们提出了归一化技术来处理点云，这可以提高学习能力，并比直接使用现成的点变换器获得更好的准确性。此外，我们在下采样的点云特征上结合了全局注意力，这样可以在计算上可行的情况下实现长距离上下文。我们在已有的深度完成基准测试中评估了我们的方法DeCoTR，包括NYU Depth V2和KITTI，展示了它设置了新的最先进性能。我们进一步对ScanNet和DDAD基准进行了零样本评估，并证明DeCoTR具有比现有方法更优越的泛化能力。

论文旨在提出一种新方法，利用2D和3D注意力来实现高精度的深度补全，而不需要迭代的空间传播。具体来说，论文试图解决深度补全中存在的精度问题。

论文的关键思路是将2D和3D注意力相结合，以提高深度补全的精度。首先，在瓶颈和跳跃连接中应用2D特征的注意力来增强基线卷积深度补全模型，然后利用这个模型的初始深度和特征来提升2D特征，形成一个3D点云，并构建一个3D点变换器来处理它，从而使模型能够显式地学习和利用3D几何特征。

论文的亮点包括提出的DeCoTR方法，在深度补全基准测试中取得了最新的最佳表现，并展示了其在ScanNet和DDAD基准测试上具有优越的泛化性能。论文还使用了规范化技术来处理点云，并在下采样的点云特征上引入全局注意力，从而实现了长程上下文的处理。此外，论文在实验中使用了NYU Depth V2和KITTI等数据集，并提供了开源代码。

最近在这个领域中，还有一些相关的研究被进行，如《Depth Completion from Sparse LiDAR Data with Depth-Normal Constraints》、《Depth Completion via Joint Learning of Geometry and Depth》等。