Zero-Shot Point Cloud Registration

学习型点云配准方法已经明显优于传统方法，但是通常需要在特定数据集上进行大量训练。本文提出了第一种零样本点云配准方法ZeroReg，它消除了对点云数据集进行训练的需求。ZeroReg的核心是从关键点到点云的图像特征转移，通过聚合3D几何邻域的信息进行丰富。具体来说，我们使用冻结的预训练2D骨干网络从2D图像对中提取关键点和特征。然后将这些特征投影到3D中，并通过搜索相邻点来构建补丁。我们使用无参数几何解码器集成每个点的几何和视觉特征。随后，确定点云之间对应关系的任务被制定为最优传输问题。ZeroReg的广泛评估表明，它在传统和学习型方法方面具有竞争力。在3DMatch、3DLoMatch和ScanNet等基准测试中，ZeroReg分别达到了超过84%、46%和75%的令人印象深刻的召回率（RR）。

提出一种无需在点云数据集上进行训练的零样本点云配准方法，解决传统方法和基于学习的方法需要大量特定数据集训练的问题。

将2D图像中的特征点特征转移到点云中，通过聚合3D几何邻域信息来丰富这些特征，构建点云之间的对应关系，使用无参数几何解码器将几何和视觉特征相结合，将点云配准问题转化为最优传输问题。

论文提出的ZeroReg方法在3DMatch、3DLoMatch和ScanNet等数据集上的表现具有竞争力，能够达到超过84％、46％和75％的召回率。该方法不需要特定数据集的训练，具有良好的迁移性能。

在点云配准领域的相关研究包括PointNetLK、DeepGMR、D3Feat等。