Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle

我们介绍了一种新颖的基于点的方法，称为Gaussian-Flow，用于从多视角和单目视频中快速动态场景重建和实时渲染。与现有的基于NeRF的方法受到缓慢的训练和渲染速度的限制不同，我们的方法利用了最近在基于点的3D高斯喷溅（3DGS）方面的进展。具体而言，我们提出了一种新颖的双域变形模型（DDDM），用于显式地建模每个高斯点的属性变形，其中每个属性的时间相关残差通过时间域中的多项式拟合和频率域中的傅里叶级数拟合来捕获。所提出的DDDM能够对长视频镜头中的复杂场景变形进行建模，消除了为每个帧训练单独的3DGS或引入额外的隐式神经场来建模3D动态的需要。此外，对离散的高斯点进行显式变形建模确保了4D场景的超快速训练和渲染，与原始的用于静态3D重建的3DGS相当。我们提出的方法展示了显着的效率提高，相对于每帧3DGS建模，实现了5倍的更快训练速度。此外，定量结果表明，所提出的Gaussian-Flow在新视角渲染质量方面显著优于先前的主要方法。项目页面：https://nju-3dv.github.io/projects/Gaussian-Flow。

论文旨在解决从多视角和单目视频中快速动态场景重建和实时渲染的问题。相比现有的NeRF-based方法，该方法能够更快地训练和渲染，并且能够处理复杂的场景变形。

论文提出了一种新的基于点的方法，利用点云数据和3D高斯喷洒技术，通过建立一个新的Dual-Domain Deformation Model (DDDM)来对场景的属性变形进行建模，从而实现快速的训练和渲染。

论文的亮点包括：使用了新的DDDM来建模场景的属性变形，提高了训练和渲染的速度；论文通过实验表明，该方法在新视角渲染质量方面明显优于其他方法；论文还提供了项目页面和开源代码。

在这个领域中，最近的相关研究包括：NeRF、3DGS和Implicit Neural Representations等。