NVINS: Robust Visual Inertial Navigation Fused with NeRF-augmented Camera Pose Regressor and Uncertainty Quantification

近年来，神经辐射场（NeRF）已成为三维重建和新视角合成的强大工具。然而，由于存在伪影，NeRF渲染的计算成本和质量下降对于其在实时和鲁棒机器人任务中的应用构成了重大挑战，特别是在嵌入式系统上。本文介绍了一种新的框架，将NeRF导出的定位信息与视觉惯性测量（VIO）相结合，提供了一个实时的机器人导航鲁棒解决方案。通过使用从NeRF渲染的增强图像数据训练绝对姿态回归网络并量化其不确定性，我们的方法有效地抵消了位置漂移并增强了系统的可靠性。我们还在贝叶斯框架下建立了将视觉惯性导航与相机定位神经网络相结合的数学基础，考虑了不确定性。在逼真的仿真环境中的实验验证表明，与传统的VIO方法相比，我们的方法在精度上有显着的改进。

论文旨在解决NeRF渲染的计算成本高和存在伪影等问题，提出一种将NeRF-derived定位信息与VIO相结合的框架，提供实时的机器人导航解决方案。

论文提出了一种将NeRF-derived定位信息与VIO相结合的方法，通过训练绝对姿态回归网络，有效地抵消位置漂移并提高系统可靠性。

论文在仿真环境中进行了实验验证，并展示了显著的精度提高，相较于传统的VIO方法。此外，论文还建立了基于贝叶斯框架的视觉惯性导航和相机定位神经网络结合的数学基础。

最近的相关研究包括：Learning to Navigate in Cities Without a Map (ICRA2021)、Robust Visual-Inertial Odometry for Fast Autonomous Flight (ICRA2021)等。