URS-NeRF: Unordered Rolling Shutter Bundle Adjustment for Neural Radiance Fields

我们提出了一种新颖的滚动快门捆绑调整方法，用于神经辐射场（NeRF），它利用无序的滚动快门（RS）图像获取隐式三维表示。现有的NeRF方法由于图像的RS效应而受到低质量图像和不准确的初始相机姿态的影响，而之前将RS纳入NeRF的方法需要严格的顺序数据输入，限制了其广泛的适用性。与之相反，我们的方法通过估计相机姿态和速度来恢复RS图像的物理形成，从而消除了对顺序数据的输入约束。此外，我们采用了粗到细的训练策略，其中使用场景图中成对帧的RS极线约束来检测落入局部最小值的相机姿态。检测到的异常姿态通过与相邻姿态的插值方法进行校正。实验结果验证了我们的方法比现有最先进的方法更有效，并证明了3D表示的重建不受视频序列输入要求的限制。

解决问题：本论文旨在解决NeRF方法中由于无序rolling shutter（RS）图像导致的低质量图像和不准确的相机初始姿态问题。同时，该方法可以消除序列数据输入的限制，从而提高其广泛适用性。

关键思路：本论文提出了一种新的rolling shutter bundle adjustment方法，利用无序rolling shutter图像获取隐式的三维表示。该方法通过估计相机姿态和速度来恢复RS图像的物理形成，从而消除了对顺序数据的输入限制。此外，采用了粗到细的训练策略，使用场景图中成对帧的RS极线约束来检测落入局部极小值的相机姿态，然后使用相邻姿态的插值方法来纠正检测到的异常姿态。

其他亮点：论文的实验结果验证了该方法的有效性，并证明了三维表示的重建不受视频序列输入要求的限制。论文使用了多个数据集进行实验，并与现有的最新方法进行了比较。此外，论文还提供了开源代码。

相关研究：在这个领域中，最近的相关研究包括NeRF++, Neural Volumes, Neural Scene Flow Fields等。