3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis

本文提出了一种三维几何感知可变形高斯光斑方法，用于动态视图合成。现有的基于神经辐射场（NeRF）的解决方案以隐式方式学习变形，无法结合三维场景几何。因此，学习到的变形不一定是几何上连贯的，导致动态视图合成和三维动态重建效果不佳。最近，三维高斯光斑提供了一种新的三维场景表示方法，基于此可以利用三维几何学习复杂的三维变形。具体而言，场景被表示为一组三维高斯，其中每个三维高斯被优化为随时间移动和旋转以模拟变形。为了在变形过程中强制执行三维场景几何约束，我们明确提取三维几何特征，并将其集成到学习三维变形中。通过这种方式，我们的解决方案实现了三维几何感知的变形建模，从而实现了改进的动态视图合成和三维动态重建。在合成和真实数据集上进行了广泛的实验，证明了我们的解决方案的优越性，达到了新的最先进性能。该项目可在https://npucvr.github.io/GaGS/上获得。

本文旨在提出一种新的方法，解决神经辐射场（NeRF）方法中的隐式学习变形无法考虑三维场景几何的问题，从而实现更好的动态视角合成和三维动态重建。

本文提出了一种三维几何感知的可变形高斯点插值方法，在学习复杂的三维变形时，能够利用场景的三维几何信息，通过将场景表示为一组三维高斯点，并对每个高斯点进行优化，以模拟变形。同时，本文还利用三维几何特征来约束变形过程，从而实现了三维几何感知的变形建模。

本文在合成和真实数据集上进行了广泛的实验，证明了本方法的优越性，并提供了开源代码。此外，本文的方法还可以应用于其他领域，例如三维形状变形和动态物体跟踪。

与本文相关的研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。