Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction

3D高斯喷洒（3DGS）已成为动态场景重建的新兴工具。然而，现有方法主要集中在将静态3DGS扩展为时变表示，而忽略了2D观测所携带的丰富运动信息，因此容易出现性能下降和模型冗余的问题。为了解决上述问题，我们提出了一种新颖的运动感知增强框架，用于动态场景重建，该框架从光流中挖掘有用的运动线索，以改善不同范式的动态3DGS。具体而言，我们首先建立了3D高斯运动和像素级光流之间的对应关系。然后引入了一种新颖的流增强方法，并对不确定性和损失协作进行了进一步的洞察。此外，针对常见的基于变形的范式，该范式呈现出更难的优化问题，我们提出了一个瞬态感知变形辅助模块。我们在多视角和单目场景上进行了广泛的实验，以验证我们工作的优点。与基线相比，我们的方法在渲染质量和效率方面都表现出显著的优越性。

本论文旨在提出一种新的动态场景重建的框架，以解决现有方法在利用2D观察到的运动信息方面存在的问题，从而提高动态3D高斯喷洒的性能和效率。

论文提出了一种基于光流的动态场景重建的增强框架，利用光流挖掘有用的运动线索来改善不同范式的动态3D高斯喷洒。具体而言，论文建立了3D高斯运动和像素级光流之间的对应关系，引入了一种新的流增强方法，并针对变形范式提出了一种瞬态感知变形辅助模块。

论文在多视角和单目场景上进行了广泛的实验，证明了该方法在渲染质量和效率方面的显著优势。此外，论文还提出了一种新的流增强方法和瞬态感知变形辅助模块，值得进一步研究。

最近在这个领域中，还有一些相关的研究，如“DynamicFusion: Reconstruction and Tracking of Non-rigid Scenes in Real-Time”和“Real-time Non-rigid Reconstruction using an RGB-D Sensor”等。