Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering

建模动态、大规模城市场景是具有挑战性的，因为它们具有高度复杂的几何结构和空间时间上的无约束动态。先前的方法通常使用高级建筑先验，将静态和动态元素分离，导致对它们协同作用的捕捉不够优化。为了解决这个挑战，我们提出了一个统一的表示模型，称为周期振动高斯（PVG）。PVG基于高效的3D高斯喷洒技术构建，最初是为静态场景表示而设计的，通过引入基于周期振动的时间动态，使PVG能够优雅、统一地表示动态城市场景中各种物体和元素的特征。为了增强对稀疏训练数据的时间上连贯的表示学习，我们引入了一种新颖的基于流的时间平滑机制和一个位置感知的自适应控制策略。在Waymo开放数据集和KITTI基准测试上的广泛实验表明，PVG在动态和静态场景的重建和新视角合成方面均优于现有最先进的替代方法。值得注意的是，PVG在不依赖手动标记的物体边界框或昂贵的光流估计的情况下实现了这一点。此外，PVG在训练/渲染方面比最佳替代方案快50/6000倍。

本文旨在解决建模动态、大规模城市场景的挑战，即高度复杂的几何结构和空间、时间上的无约束动态，同时避免使用高级建筑先验知识，以实现更好的场景动态建模。

本文提出了一种新的统一表示模型，称为周期振动高斯（PVG），通过引入基于周期振动的时间动态，将高效的三维高斯喷洒技术扩展到动态场景中。为了增强在稀疏训练数据下的时间连贯表示学习，还引入了基于流的时间平滑机制和位置感知自适应控制策略。

本文使用Waymo Open Dataset和KITTI数据集进行了广泛的实验，证明PVG在动态和静态场景的重建和新视图合成方面优于现有的最佳替代方法。此外，PVG无需依赖手动标注的物体边界框或昂贵的光流估计，训练/渲染速度还比最佳替代方法快50/6000倍。

最近在这个领域中，也有其他相关研究，如《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》和《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。