Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

动态场景的新视角合成一直是一个有趣而具有挑战性的问题。尽管近年来取得了一些进展，但同时实现高分辨率逼真的结果、实时渲染和紧凑的存储仍然是一项艰巨的任务。为了解决这些挑战，我们提出了时空高斯特征喷溅作为一种新的动态场景表示，由三个关键组件组成。首先，我们通过增强3D高斯函数的时间不透明度和参数化运动/旋转来制定表达力强的时空高斯函数。这使得时空高斯函数能够捕捉场景中的静态、动态以及瞬态内容。其次，我们引入了特征喷溅渲染，将球谐函数替换为神经特征。这些特征有助于建模视角和时间依赖的外观，同时保持小尺寸。第三，我们利用训练误差和粗略深度的指导，在现有管道难以收敛的区域中对新的高斯函数进行采样。在几个已建立的真实世界数据集上的实验表明，我们的方法在保持紧凑存储的同时，实现了最先进的渲染质量和速度。在8K分辨率下，我们的轻量级模型可以在Nvidia RTX 4090 GPU上以60帧每秒的速度进行渲染。我们的代码可在https://github.com/oppo-us-research/SpacetimeGaussians上获得。

论文旨在解决动态场景的新视角合成问题，即如何同时实现高分辨率的逼真效果、实时渲染和紧凑的存储。

论文提出了一种新的动态场景表示方法——时空高斯特征喷溅，由三个关键组成部分构成：表达力强的时空高斯、使用神经特征替代球面谐波的特征喷溅渲染、以及利用训练误差和粗略深度引导在现有流程难以收敛的区域采样新高斯。

论文在多个已建立的真实世界数据集上进行了实验，证明了该方法在保持紧凑存储的同时实现了最先进的渲染质量和速度。在8K分辨率下，该方法的轻量级版本可以在Nvidia RTX 4090 GPU上以60 FPS的速度渲染。论文提供了开源代码。

近期的相关研究包括：《NeRF》、《D-NeRF》、《NeRF-W》等。