The NeRFect Match: Exploring NeRF Features for Visual Localization

在这项工作中，我们提出使用神经辐射场（NeRF）作为视觉定位的场景表示。最近，NeRF已被用于通过增加训练数据库、通过渲染图像提供辅助监督或作为迭代细化模块来增强姿态回归和场景坐标回归模型。我们扩展了其已知的优势——提供具有逼真外观和准确几何的紧凑场景表示的能力，通过探索NeRF的内部特征在建立精确的2D-3D匹配方面的潜力。为此，我们对NeRF通过视图合成获得的隐式知识在各种条件下进行了全面的检查。这包括探索不同的匹配网络架构，在多个层次提取编码器特征以及变化的训练配置。重要的是，我们引入了NeRFMatch，一种先进的2D-3D匹配函数，它利用了通过视图合成学习到的NeRF的内部知识。我们在结构为基础的流水线上对NeRFMatch进行了评估，并在剑桥地标的标准定位基准上取得了新的最佳性能。

论文旨在探索使用神经辐射场（NeRF）作为场景表示来实现视觉定位的可能性。具体而言，论文试图利用NeRF的内部特征来建立精确的二维-三维匹配，从而提高定位精度。

论文的关键思路是通过利用NeRF的内部知识（通过视图合成获得）来建立精确的2D-3D匹配。为此，论文探索了不同的匹配网络架构、提取多层编码器特征以及不同的训练配置。

论文通过实验评估了NeRFMatch在标准定位基准测试上的性能，并在剑桥地标上取得了新的最优结果。此外，论文还介绍了NeRFMatch的高级2D-3D匹配函数，可以利用NeRF通过视图合成学习到的内部知识。

最近在这个领域中，还有一些相关的研究，如：Learning to Find Good Correspondences for Wide-baseline Matching via an Attention-guided Two-stream Network (CVPR 2021)、Patch2Vec: Learning Compact Descriptors for Dense Correspondence (CVPR 2021)等。