GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

我们提出了一种使用可变形三维高斯函数进行动态场景重建的方法，该方法专为单目视频设计。在高斯喷洒的效率基础上，我们的方法通过在规范空间中存在一组可变形高斯函数和由多层感知机（MLP）定义的时间依赖变形场来扩展表示以适应动态元素。此外，在假设大多数自然场景具有保持静态的大区域的情况下，我们允许MLP通过另外包括静态高斯点云来集中其表示能力。连接的动态和静态点云形成高斯喷洒光栅化器的输入，实现实时渲染。可微分的流水线通过自监督渲染损失进行端到端优化。我们的方法实现了与最先进的动态神经辐射场方法相当的结果，同时允许更快的优化和渲染。项目网站：https://lynl7130.github.io/gaufre/index.html。

论文提出了一种使用可变形的3D高斯函数进行动态场景重建的方法，旨在解决单目视频场景重建的问题。该方法如何有效地处理动态元素？

论文使用可变形的高斯函数表示动态元素，并通过多层感知器定义的时间依赖变形场来更新高斯函数的位置和形状。同时，为了提高效率，论文还引入了静态高斯点云来帮助模型聚焦于动态元素的表示。

论文的方法在实时渲染方面表现出色，并且相比于当前领域的动态神经辐射场方法，优化和渲染速度更快。论文使用自监督渲染损失进行端到端优化，并在多个数据集上进行了实验验证。此外，论文提供了开源代码和项目网站。

最近在这个领域中，还有一些相关的研究，如NeRF、D-NeRF和NeRF++等。