NeRF-Guided Unsupervised Learning of RGB-D Registration

本文重点在于训练一个无需真实姿态监督的强健RGB-D配准模型。现有方法通常采用基于可微渲染的成对训练策略，将两个配准帧之间的光度和几何一致性作为监督来强制执行。然而，这种帧间框架由于诸如光照变化、几何遮挡和反光材料等因素而受到多视角一致性差的影响。本文提出了一种新颖的基于帧到模型优化的无监督RGB-D配准框架NeRF-UR。我们利用神经辐射场（NeRF）作为场景的全局模型，使用输入和NeRF重新渲染帧之间的一致性进行姿态优化，而不是帧间一致性。这种设计可以显著提高在多视角一致性差的情况下的鲁棒性，并为配准模型提供更好的学习信号。此外，为了启动NeRF优化，我们通过逼真的模拟器创建了一个合成数据集Sim-RGBD，以热身配准模型。通过先在Sim-RGBD上训练配准模型，然后在真实数据上进行无监督微调，我们的框架可以将特征提取和配准的能力从模拟转移到现实。我们的方法在两个流行的室内RGB-D数据集ScanNet和3DMatch上优于现有的最先进方法。我们将发布代码和模型以进行论文复现。

该论文旨在解决没有地面真实姿态监督下的鲁棒RGB-D配准问题。现有方法通常采用可微分渲染的成对训练策略，这种方法通过强制两个注册帧之间的光度和几何一致性来进行监督。然而，由于光照变化、几何遮挡和反射材料等因素，这种帧到帧的框架在多视角一致性方面表现不佳。

该论文提出了一种新的基于帧到模型优化的无监督RGB-D配准框架NeRF-UR。与帧到帧的一致性不同，该方法利用神经辐射场（NeRF）作为场景的全局模型，并使用输入和NeRF重新渲染的帧之间的一致性进行姿态优化。这种设计可以显著提高在多视角一致性差的情况下的鲁棒性，并为配准模型提供更好的学习信号。

论文的亮点包括：使用NeRF作为全局模型的帧到模型优化方法，通过Sim-RGBD合成数据集来提高模型性能，实验结果表明该方法在两个流行的室内RGB-D数据集ScanNet和3DMatch上优于现有方法。论文提供了代码和模型，便于其他研究者复现和使用。

在这个领域的相关研究包括：使用深度学习进行RGB-D配准的方法，如DeepVCP、D2-Net和D3VO等。此外，还有一些使用传统方法进行RGB-D配准的研究，如ICP、Go-ICP和FGR等。