BeNeRF: Neural Radiance Fields from a Single Blurry Image and Event Stream

这篇文章探讨了神经辐射场（NeRF）的恢复问题，NeRF是一种对视觉场景进行神经隐式表示的方法，在计算机视觉和图形学领域引起了广泛关注。以往的方法主要关注如何从一组图像中重建3D场景表示。本文证明了可以从一张模糊的图像及其相应的事件流中恢复NeRF。我们在SE（3）空间中用三次B样条模型来建模相机运动。根据从三次B样条插值得到的6自由度姿态，可以从3D场景表示中合成模糊图像和在时间间隔内的亮度变化。我们的方法可以通过最小化合成数据和真实测量之间的差异来联合学习隐式神经场景表示和恢复相机运动，而无需使用COLMAP预计算相机姿态。我们使用合成和真实数据集对所提出的方法进行评估。实验结果表明，我们能够从学习到的NeRF中渲染出视角一致的潜在锐利图像，并以高质量呈现模糊图像。代码和数据可在https://github.com/WU-CVGL/BeNeRF上获得。

本论文旨在通过模型恢复神经辐射场（NeRF）以及相机运动，从而将单个模糊图像和其对应的事件流合成为清晰的图像和亮度变化。此方法可以在不需要预先计算相机姿态的情况下，通过最小化合成数据和真实测量之间的差异来联合学习神经隐式场景表示和恢复相机运动。

本论文的关键思路是使用三次B-Spline在SE（3）空间中建模相机运动，从而联合学习神经隐式场景表示和恢复相机运动，以实现从单个模糊图像恢复高质量图像的目的。

本文的亮点在于，它提出了一种新的方法，可以在不需要预先计算相机姿态的情况下联合学习神经隐式场景表示和恢复相机运动，并且可以从单个模糊图像中恢复出高质量的图像。作者使用合成和真实数据集进行了实验验证，并公开了代码和数据。

最近在这个领域中，还有一些相关研究，例如《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》和《Event-based Vision: A Survey》等。