Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion

本文介绍了一种方法，可以适应相机运动并允许使用手持视频数据进行高质量场景重建，即使该数据存在运动模糊和滚动快门失真。该方法基于对物理图像形成过程的详细建模，并利用使用视觉惯性测量（VIO）估计的速度。在单个图像帧的曝光时间内，相机姿态被认为是非静态的，并且相机姿态在重建过程中进一步优化。我们制定了一种可微分的渲染流水线，利用屏幕空间逼近，将滚动快门和运动模糊效果有效地整合到3DGS框架中。使用合成和真实数据的结果表明，相对于现有方法，我们的方法在减轻相机运动方面表现出更好的性能，从而推动了在自然环境中的3DGS的发展。

本论文旨在解决使用手持相机拍摄的视频数据中存在的运动模糊和滚动快门失真问题，以实现高质量的场景重建和新视角合成。

本文提出了一种基于高度建模的物理图像形成过程的方法，利用视觉惯性测量（VIO）估计的速度来适应相机运动，并在重建过程中进一步优化相机姿态。论文还提出了一种可微分渲染管道，利用屏幕空间近似来有效地将滚动快门和运动模糊效果纳入到3DGS框架中。

论文的实验结果表明，该方法在减轻相机运动方面具有优越性，从而推进了3DGS在自然环境中的应用。论文使用了合成数据和真实数据进行实验，并提供了开源代码。值得继续深入研究的工作包括如何处理更复杂的场景和相机运动。

最近的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《Learning to Infer Implicit Surfaces without 3D Supervision》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。