BeNeRF: Neural Radiance Fields from a Single Blurry Image and Event Stream

本文介绍了神经辐射场（NeRF）在计算机视觉和图形学研究中的隐式表示方法。大多数先前的方法集中在如何从一组图像重建3D场景表示。在本文中，我们展示了从单个模糊图像及其对应的事件流中恢复神经辐射场（NeRF）的可能性。我们在SE（3）空间中使用三次B-Spline建模相机运动。在给定从三次B-Spline插值的6自由度姿态的3D场景表示的情况下，可以合成模糊图像和亮度变化。我们的方法可以通过最小化合成数据和真实测量之间的差异来共同学习隐式神经场景表示和恢复相机运动，而无需使用COLMAP预计算相机姿势。我们使用合成和真实数据集评估了所提出的方法。实验结果表明，我们能够从学习的NeRF中渲染视角一致的潜在清晰图像，并以高质量呈现模糊图像。代码和数据可在https://github.com/WU-CVGL/BeNeRF上获得。

本论文旨在探讨通过单个模糊图像和其相应的事件流来恢复神经辐射场（NeRF）的可能性，以及如何通过最小化合成数据与真实测量之间的差异来联合学习隐式神经场表示和恢复相机运动。

论文的关键思路是使用在SE（3）空间中的三次B-Spline模型来建模相机运动，并从中插值出6自由度姿势，然后可以从3D场表示合成模糊图像和在时间间隔内的亮度变化。通过最小化合成数据与真实测量之间的差异来同时学习隐式神经场表示和恢复相机运动。

该论文的亮点在于，它提出了一种使用单个模糊图像和其相应的事件流来恢复NeRF的方法，并且能够渲染具有视角一致性的潜在清晰图像，从而使模糊图像变得更加清晰。作者在合成和真实数据集上进行了实验，并且提供了代码和数据。这项工作为使用单个图像恢复3D场表示提供了新的思路。

最近在这个领域中，一些相关的研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《Single-Image 3D Reconstruction via Multi-View Consistency》、《DeRF: Decomposed Radiance Fields》等。