SpikeGS: Reconstruct 3D scene via fast-moving bio-inspired sensors

3D高斯喷洒（3DGS）在3D场景重建方面表现出无与伦比的卓越性能。然而，3DGS严重依赖于清晰的图像。在现实场景中，特别是当相机移动快速时，满足这一要求可能具有挑战性，这严重限制了3DGS的应用。为了解决这些挑战，我们提出了Spike Gausian Splatting（SpikeGS），这是第一个将Spike流集成到3DGS管道中的框架，通过快速移动的生物启发式相机重建3D场景。通过累积光栅化、间隔监督和特别设计的管道，SpikeGS从高时间分辨率但缺乏纹理的Spike流中提取详细的几何和纹理，重建1秒钟内捕获的3D场景。对多个合成和真实世界数据集的广泛实验表明，与现有的基于Spike和去模糊的3D场景重建方法相比，SpikeGS具有更高的优越性。代码和数据即将发布。

本文旨在解决3D场景重建中，快速移动的生物启发式相机所拍摄的图像质量较差导致3D高斯喷溅（3DGS）无法应用的问题。

本文提出了Spike Gaussian Splatting（SpikeGS）框架，将Spike流集成到3DGS管道中，以通过快速移动的生物启发式相机重建3D场景。通过积累栅格化、区间监督和特殊设计的管道，SpikeGS从高时间分辨率但缺乏纹理的Spike流中提取详细的几何和纹理，能够在1秒内重建3D场景。

本文实验使用了多个合成和真实数据集，并与现有的基于Spike和去模糊的3D场景重建方法进行了比较。研究结果表明，与现有方法相比，SpikeGS具有更好的性能。此外，本文还提供了代码和数据集。

最近的相关研究包括：《3D场景重建中的深度学习方法》、《基于运动模糊去除的3D场景重建方法》等。