Dynamic 3D Gaussian Fields for Urban Areas

我们提出了一种高效的神经网络三维场景表示方法，用于大规模动态城市区域的新视角合成（NVS）。现有的方法由于视觉质量有限和非交互式渲染速度等原因，不适用于混合现实或闭环模拟等应用。最近，基于光栅化的方法以惊人的速度实现了高质量的NVS。然而，这些方法受到规模小、数据同质化等因素的限制，无法处理由于天气、季节和光照等原因导致的外观和几何变化，也无法扩展到包含数千张图像的大规模动态区域。我们提出了4DGF，一种神经场景表示方法，可扩展到大规模动态城市区域，处理异构输入数据，并显著提高渲染速度。我们使用三维高斯函数作为高效的几何支架，同时依靠神经场作为紧凑灵活的外观模型。我们通过场景图在全局范围内集成场景动态，同时通过变形在局部层面建模关节运动。这种分解的方法实现了适用于实际应用的灵活场景组合。在实验中，我们在PSNR方面超过了现有技术超过3 dB，渲染速度超过了200倍。

论文旨在解决大规模动态城市区域中新视角合成（NVS）的高质量和实时渲染速度问题。现有的方法在视觉质量和交互式渲染速度方面存在局限性，而基于光栅化的方法虽然速度快，但无法处理大规模、异质性数据并且缺乏灵活性。

论文提出了一种名为4DGF的神经场景表示方法，使用3D高斯函数作为高效的几何支撑，并依赖神经场作为紧凑而灵活的外观模型。通过场景图在全局范围内集成场景动态，同时通过变形在本地级别上建模关节运动。这种分解方法适用于现实世界应用的灵活场景组合。

论文在实验中表现出比现有方法高达3 dB的PSNR和200倍以上的渲染速度。此外，作者还提供了一个大规模城市数据集，并开源了他们的代码。

最近的相关研究包括NeRF、GRAF、D-NeRF等。