Neural Radiance Fields (NeRF) 最近在计算机视觉领域获得了极大的关注，它提供了一种崭新的合成真实世界场景新视角的方法。然而，NeRF的一个局限性是它需要准确的相机位姿来学习场景表征。本文提出了一种 Bundle-Adjusting Neural Radiance Fields（BARF）算法，用于从不够准确（甚至是未知）的相机姿势中训练NeRF，可用于同时学习3D表征以及完成相机注册。本文从理论上建立了与经典图像对齐（image alignment）之间的联系，并阐明从粗到细的相机注册也适用于NeRF。此外，本文还发现，在NeRF中简单地使用位置编码对合成目标有负面影响（本文有改进）。在合成和真实世界数据上的实验表明，BARF可以有效地优化神经场景表征，并同时解决摄像机的姿势的错位。这使得视频序列的视图合成和来自未知摄像机姿势的定位成为可能，这为视觉定位系统（如SLAM）开辟了新的途径，也为密集的3D重建提供了潜在的应用。

代码链接：

github.com/chelnhsuanlin/bundle-adjusting-NeRF

论文链接：

arxiv.org/abs/2104.06405

主页：

chenhsuanlin.bitbucket.io/bundle-adjusting-NeRF

内容中包含的图片若涉及版权问题，请及时与我们联系删除