SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion

小说视角合成通过从3D场景的多视图图像生成新的2D渲染起着至关重要的作用。然而，使用传统相机捕捉高速场景往往会导致运动模糊，从而影响3D重建的有效性。为了解决这个挑战，高帧率密集3D重建成为一种重要技术，能够在虚拟现实或体验式人工智能等各个领域中对真实世界的对象或场景进行详细和准确的建模。尖峰相机是一种新型的神经形态传感器，能够以超高的时间分辨率连续记录场景，显示出准确重建3D场景的潜力。尽管如此，现有的方法，如将神经辐射场（NeRF）应用于尖峰相机，由于耗时的渲染过程而遇到挑战。为了解决这个问题，我们首次尝试将3D高斯喷洒（3DGS）引入高速捕捉的尖峰相机中，提供3DGS作为视角的密集和连续线索，然后构建SpikeGS。具体来说，为了训练SpikeGS，我们建立了3DGS的渲染过程与连续尖峰流的瞬时成像和曝光成像过程之间的计算方程。此外，我们建立了一个非常轻量级但有效的从尖峰到瞬时图像的映射过程来支持训练。此外，我们引入了一个新的基于尖峰的3D渲染数据集进行验证。广泛的实验已经证明了我们的方法具有高质量的新视角渲染，证明了尖峰相机在建模3D场景方面的巨大潜力。

本论文旨在解决使用传统相机捕捉高速场景时出现的运动模糊问题，以提高3D重建的效果和准确性。

论文提出了一种新的方法——SpikeGS，将3D高斯点插值（3DGS）引入高速捕捉的Spike相机中，提供密集和连续的视角线索，从而实现高质量的新视角合成。

论文使用了Spike相机进行实验，并提出了一个新的基于Spike相机的3D渲染数据集。论文还介绍了一种轻量级但有效的Spike到图像的映射过程，并建立了计算方程来支持训练。

相关研究包括使用神经辐射场（NeRF）处理Spike相机数据的方法，以及其他高速3D重建技术的研究，如基于时间编码的3D扫描仪和基于相移的3D重建方法。