RS-NeRF: Neural Radiance Fields from Rolling Shutter Images

神经辐射场（NeRF）因其惊人的新视角合成能力而变得越来越受欢迎。然而，它们的有效性受到了大多数相机系统中常见的滚动快门（RS）效应的阻碍。为了解决这个问题，我们提出了RS-NeRF方法，旨在使用具有RS扭曲的输入合成正常图像。这涉及到一个物理模型，它在RS条件下复制图像形成过程，并联合优化每个图像行的NeRF参数和相机外参。我们进一步解决了基本RS-NeRF模型的固有缺陷，深入研究了RS的特性，并开发了增强其功能的算法。首先，我们施加平滑正则化以更好地估计轨迹并提高合成质量，符合相机移动先验。我们还通过引入多重采样算法，识别和解决了香草RS模型的一个根本性缺陷。这种新方法通过全面利用每个中间相机姿态下不同行的RGB数据，提高了模型的性能。通过严格的实验，我们证明了RS-NeRF在合成和实际场景中均优于以前的方法，证明了其有效纠正RS相关扭曲的能力。代码和数据可在以下链接中找到：https://github.com/MyNiuuu/RS-NeRF。

本文旨在解决NeRF模型在相机系统中存在的Rolling Shutter（RS）效应问题，以提高其在新视角合成方面的效果。

本文提出了RS-NeRF模型，该模型通过物理模型模拟RS条件下的图像形成过程，并联合优化NeRF参数和每个图像行的相机外参，以从新视角合成正常图像。为了进一步提高模型的性能，本文还引入了平滑正则化和多重采样算法。

本文的实验结果表明，RS-NeRF在合成质量方面优于之前的方法，证明了其有效纠正RS相关失真的能力。作者还提供了代码和数据集的开源。

与本文相关的研究包括NeRF模型及其变体，以及相机运动估计和Rolling Shutter效应相关的研究。其中，NeRF++和NeRF-W等模型是NeRF的扩展，用于改善其性能。此外，Rolling Shutter效应的研究主要集中在相机姿态估计和Rolling Shutter校正方面，例如，Rolling Shutter相机运动估计和Rolling Shutter全景图像拼接。