EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images

3D高斯散点（3D-GS）在3D场景重建和新视角合成方面展示了卓越的能力。然而，它的训练严重依赖于高质量、清晰的图像和准确的相机姿态。在非理想的实际场景中，满足这些要求可能具有挑战性，其中高速移动相机或需要长曝光时间的低光环境中通常会遇到运动模糊的图像。为了解决这些挑战，我们引入了事件流辅助高斯散点（EvaGaussians），这是一种新颖的方法，它将事件相机捕获的事件流集成到重建模糊图像的高质量3D-GS中。利用事件相机提供的高时空分辨率和动态范围，我们利用事件流来明确地建模运动模糊图像的形成过程，并指导3D-GS的去模糊重建。通过联合优化3D-GS参数和恢复曝光时间内的相机运动轨迹，我们的方法可以稳健地促进获取具有复杂纹理细节的高保真新视角。我们全面评估了我们的方法，并将其与先前的最新去模糊渲染方法进行了比较。定性和定量比较都表明，我们的方法在从模糊图像中恢复细节并产生高保真新视角方面优于现有技术。

论文旨在解决在现实场景中使用3D高斯喷洒（3D-GS）进行重建和合成时，由于运动模糊等因素导致图像质量下降的问题。

论文提出了Event Stream Assisted Gaussian Splatting（EvaGaussians）的方法，结合事件流和高斯喷洒来重建高质量的3D场景。通过使用事件流来模拟运动模糊图像的形成过程，并在曝光时间内联合优化3D-GS参数和相机运动轨迹来恢复清晰的图像。

论文的实验结果表明，EvaGaussians方法在恢复模糊图像的细节和生成高质量的新视角方面优于现有技术。论文还提供了详细的实验设计和数据集介绍。

在相关研究中，最近有一些关于使用事件相机进行场景重建的研究，如《Event-based 3D Reconstruction from Sparse Photometric Images》和《Event-based 3D Mapping and Reconstruction with Rolling Shutter Cameras》。