4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

我们提出了4D高斯喷洒（4D-GS）作为动态场景的整体表示方法，以实现实时动态场景渲染并享受高训练和存储效率。相比于为每个单独的帧应用3D高斯喷洒，4D-GS可以更准确地建模复杂的运动，而且效率更高。在4D-GS中，我们提出了一种新颖的显式表示方法，其中包含了3D高斯和4D神经体素。我们提出了一种受HexPlane启发的分解神经体素编码算法，可以从4D神经体素中高效地构建高斯特征，然后应用轻量级MLP来预测新时间戳下的高斯变形。我们的4D-GS方法在高分辨率下实现了实时渲染，在RTX 3090 GPU上以800x800分辨率实现了82 FPS，同时保持着与之前最先进方法相当或更好的质量。更多演示和代码可在https://guanjunwu.github.io/4dgs/上找到。

本论文旨在提出一种高效的动态场景渲染方法，解决复杂运动建模难以保证高效性的问题。

本文提出了一种4D高斯平铺（4D-GS）的整体表示方法，相比于为每个单独帧应用3D-GS，4D-GS能够实现实时的动态场景渲染并保持高训练和存储效率。

本文提出了一种新颖的显式表示方法，包含3D高斯和4D神经体素，同时提出了一种分解的神经体素编码算法，以有效地构建高斯特征。实验结果表明，4D-GS方法在高分辨率下可以实现实时渲染，并且比之前的最先进方法具有相当或更好的质量。作者提供了更多的演示和代码。

最近的相关研究包括：《Neural Volumes: Learning Dynamic Renderable Volumes from Images》、《Neural Radiance Fields for Unconstrained Photo Collections》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。