NeRF-Supervised Feature Point Detection and Description

特征点检测和描述是各种计算机视觉应用的基础，如结构从运动、视觉SLAM和视觉地点识别。虽然基于学习的方法已经超越了传统的手工制作技术，但它们的训练通常依赖于简单的基于单应性的多视角模拟，从而限制了模型的通用性。本文介绍了一种新颖的方法，利用神经辐射场（NeRFs）进行逼真的多视角训练数据生成。我们使用NeRFs创建了一个多样化的多视角数据集，包括室内和室外场景。我们提出的方法将最先进的特征检测器和描述符适应于在透视投影几何的监督下训练的NeRF合成视图。我们的实验表明，与现有方法相比，所提出的方法在相对姿态估计、点云配准和单应性估计的标准基准上实现了具有竞争力或更优越的性能，同时需要的训练数据显著较少。

该论文旨在通过使用神经辐射场（NeRFs）生成逼真的多视角训练数据来解决特征点检测和描述的问题。

该论文的关键思路是使用NeRFs生成多视角数据集，并将现有的特征检测和描述方法应用于这些数据集，以获得更好的性能和更少的训练数据。

该论文使用NeRFs生成了一个多样化的室内外场景多视角数据集，并将其用于训练特征检测和描述方法。实验结果表明，该方法在相对姿态估计、点云配准和单应性估计等标准基准上实现了竞争性或更优越的性能，同时需要比现有方法更少的训练数据。

最近的相关研究包括使用深度学习方法进行特征点检测和描述，以及使用不同的数据增强技术来生成多视角数据集。