An Efficient 3D Gaussian Representation for Monocular/Multi-view Dynamic Scenes

在多视角场景的新视角合成中，3D高斯光栅化成为了现有辐射场方法的可行替代方案，提供了出色的视觉质量和实时渲染。虽然在静态场景中取得了成功，但是目前3D高斯表示的进展在动态场景中面临内存消耗和每个时间步骤需要大量观察的挑战，因为需要存储每个时间步骤的3D高斯参数。在本研究中，我们提出了一种针对动态场景的高效3D高斯表示，其中我们将位置和旋转定义为时间的函数，同时保持静态3D高斯的其他时间不变属性。值得注意的是，我们的表示减少了内存使用，而且不管输入序列长度如何，都是一致的。此外，它通过考虑时间变化来减轻过拟合观察帧的风险。我们基于图像和流重建结果优化高斯表示，实现了单目和多视角情况下动态场景视角合成的强大框架。我们使用单个GPU在分辨率为$1352 \times 1014$的情况下获得了$118$帧每秒的最高渲染速度(FPS)，展示了我们提出的方法在动态场景渲染场景中的实际可用性和有效性。

论文旨在解决多视图场景的新视角合成问题中，3D高斯扩散方法在动态场景中内存消耗和时间步数方面面临的挑战。

论文提出一种针对动态场景的高效3D高斯表示方法，通过定义时间的位置和旋转来减少内存使用，并优化高斯表示以实现动态场景视图合成。

该方法在单个GPU上实现了每秒118帧的最高渲染速度，具有实用性和有效性。实验使用了多个数据集，并且开源了代码。该方法还能够缓解过拟合问题。

相关研究包括基于辐射场方法的视角合成和其他3D表示方法的研究，例如点云和体素表示。