Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly Training for 4D Reconstruction

近期3D高斯点绘（3DGS）的发展引起了从多视角视觉输入进行4D动态空间重建的极大兴趣。现有的方法主要依赖于处理全长多视角视频以实现4D重建，而对于能够实时训练和逐帧流式传输的迭代在线重建方法的研究较少。当前基于3DGS的流式传输方法对高斯原语进行均匀处理，并不断更新密集化的高斯原语，从而忽略了动态特征与静态特征之间的差异，也忽视了场景中的时间连续性。为了解决这些限制，我们提出了一种新颖的三阶段管道，用于迭代可流式传输的4D动态空间重建。我们的管道包括一个选择性继承阶段，以保持时间连续性；一个动态感知移位阶段，用于区分动态和静态原语并优化其运动；以及一个误差引导的密集化阶段，以适应新出现的物体。我们的方法在在线4D重建中达到了最先进的性能，展示了20%的实时训练速度提升、更优的表示质量和实时渲染能力。项目页面：https://www.liuzhening.top/DASS

该论文试图解决在线4D动态空间重建的问题，特别是从多视角视觉输入中实时处理和重建动态场景。与现有方法主要依赖于处理完整长度的多视角视频不同，本文关注的是能够实现即时训练和逐帧流式的在线重建方法。

论文提出了一种新颖的三阶段管道，用于迭代可流式传输的4D动态空间重建。这三个阶段分别是：选择性继承阶段，用于保持时间连续性；动态感知移动阶段，用于区分动态和静态原语并优化其运动；误差引导的稠密化阶段，以适应新出现的对象。这种方法不仅考虑了动态与静态特征的区别，还利用了场景中的时间连续性。

论文在在线4D重建方面取得了最先进的性能，包括提高了20%的即时训练速度，更好的表示质量和实时渲染能力。此外，项目页面提供了更多的细节和技术文档，表明了作者对社区开放的态度。实验设计涵盖了多种动态场景，展示了方法的鲁棒性和泛化能力。未来的工作可以进一步探索更复杂的动态场景和更高的实时性能。

近年来，关于4D动态空间重建的研究逐渐增多。例如，《Neural Volumes: Learning Dynamic Renderable Volumes from Sparse Views》和《Instant NGP: Generalized Instant Neural Graphics Primitives with Ray Tracing》等论文也探讨了从多视角图像中重建动态场景的方法。然而，这些方法大多集中在离线处理上，而本文则专注于在线和流式处理。