Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

动态场景的新视角合成一直是一个有趣但具有挑战性的问题。尽管最近有了一些进展，但同时实现高分辨率的逼真效果、实时渲染和紧凑的存储仍然是一项艰巨的任务。为了解决这些挑战，我们提出了时空高斯特征喷溅作为一种新的动态场景表示，由三个关键组成部分组成。首先，我们通过增强三维高斯函数的时间不透明度和参数化运动/旋转来构建具有表现力的时空高斯函数。这使得时空高斯函数能够捕捉场景中的静态、动态和瞬时内容。其次，我们引入了喷溅特征渲染，用神经特征替代了球面谐波。这些特征有助于建模视角和时间相关的外观，同时保持小尺寸。第三，我们利用训练误差和粗糙深度的指导，在现有管道难以收敛的区域采样新的高斯函数。在几个已建立的真实世界数据集上的实验表明，我们的方法实现了最先进的渲染质量和速度，同时保持紧凑的存储。在8K分辨率下，我们的轻量级模型可以在Nvidia RTX 4090 GPU上以60 FPS的速度进行渲染。

本论文旨在解决动态场景的新视角合成问题，同时实现高分辨率、逼真的渲染效果、实时渲染和紧凑的存储。

论文提出了一种新的动态场景表示方法——时空高斯特征喷洒，由三个关键组成部分组成。首先，通过增加时间不透明度和参数化运动/旋转来增强三维高斯分布，提出了表现力强的时空高斯分布，可以捕捉场景中的静态、动态和瞬态内容。其次，论文引入了喷洒特征渲染，用神经特征替换了球谐函数，这些特征有助于建模视角和时间相关的外观，并保持小尺寸。第三，利用训练误差和粗略深度的指导，在现有管道难以收敛的区域采样新的高斯分布。

论文在几个已有的真实世界数据集上进行实验，证明了我们的方法在保持紧凑存储的同时，实现了最先进的渲染质量和速度。在8K分辨率下，我们的精简版模型可以在Nvidia RTX 4090 GPU上以60 FPS的速度渲染。

近期在这个领域中，还有一些相关的研究，如NeRF、D-NeRF、NeRV等。