PointRegGPT: Boosting 3D Point Cloud Registration using Generative Point-Cloud Pairs for Training

本文介绍了一种使用生成的点云对进行训练来提高三维点云配准的方法，名为PointRegGPT。数据在训练基于学习的三维点云配准方法中扮演着至关重要的角色。然而，真实世界的数据集建立成本高昂，而基于渲染的合成数据则存在领域差距。因此，本文提出了使用生成的点云对来进行训练的方法。给定一个深度图像，我们首先对其应用随机相机运动，将其重新投影为目标深度图像。将它们转换为点云即可得到一个训练对。为了增强数据的真实性，我们将生成模型构建为深度修复扩散，以处理目标深度图像，并以重新投影的源深度图像作为条件。此外，我们设计了深度校正模块，以减轻重新投影过程中点穿透造成的伪影。据我们所知，这是第一个探索室内点云配准的真实数据生成的生成方法。当配备了我们的方法后，几种最近的算法可以显著提高性能，并在两个常见的基准测试中稳定地达到SOTA水平。本文的代码和数据集将在https://github.com/Chen-Suyi/PointRegGPT上发布。

本文旨在通过生成点云对来增强数据真实性，提高三维点云配准的性能。同时，解决了使用渲染的合成数据存在领域差距的问题。

本文的关键思路是使用生成对来训练三维点云配准的学习模型。通过随机相机运动将单个深度图重新投影到目标深度图，再将它们转换为点云对进行训练。为了提高数据的真实性，使用深度修复扩散作为生成模型，以目标深度图和重新投影的源深度图作为条件。同时，设计深度校正模块来减轻由于重投影过程中点穿透引起的伪影。

本文的亮点包括使用生成对来提高数据真实性，设计深度修复扩散和深度校正模块来提高配准性能。在两个基准测试中，本文方法可以显著提高几种最近的算法的性能，并实现了SOTA。作者将代码和数据集发布在GitHub上。

在这个领域中，最近的相关研究包括：PointNetLK、DeepGMR、RPM-Net等。