Marrying NeRF with Feature Matching for One-step Pose Estimation

我们旨在通过给定物体的图像集合来构建实时的基于图像的姿态估计方法，该方法既不需要其CAD模型，也不需要数小时的特定对象训练。最近的基于NeRF的方法通过直接优化渲染图像和目标图像之间的像素损失来提供有希望的解决方案。然而，在推理过程中，它们需要长时间的收敛时间，并且会受到局部最小值的影响，使它们在实时机器人应用中不切实际。我们旨在通过将图像匹配与NeRF相结合来解决这个问题。通过使用由NeRF渲染的2D匹配和深度，我们通过在目标和初始视图之间建立2D-3D对应关系直接解决姿态，从而实现实时预测。此外，为了提高2D-3D对应关系的准确性，我们提出了一种3D一致的点挖掘策略，有效地排除了NeRF重建的不可信点。此外，当前基于NeRF的方法在优化像素损失时无法处理遮挡图像。因此，我们进一步提出了一种基于2D匹配的采样策略来排除遮挡区域。代表性数据集上的实验结果证明，我们的方法优于最先进的方法，并将推理效率提高了90倍，实现了6 FPS的实时预测。

论文旨在解决实时图像姿态估计的问题，同时避免使用CAD模型和长时间的物体特定训练。

论文提出了一种将图像匹配与NeRF相结合的方法，通过在目标和初始视图之间建立2D-3D对应关系，直接在一步中解决姿态，从而实现实时预测。

论文提出了一种3D一致性点挖掘策略，以提高2D-3D对应关系的准确性，同时提出了一种基于2D匹配的采样策略以排除遮挡区域。实验结果表明，该方法在代表性数据集上优于现有方法，并提高了推理效率90倍，实现了6 FPS的实时预测。

最近的相关研究包括NeRF和其改进版本，以及基于2D-3D对应的姿态估计方法。