GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

本文介绍了一种新概念——高斯流，它将3D高斯动态与相邻帧之间的像素速度联系起来，通过将高斯动态分散到图像空间中，可以高效地获得高斯流。这个可微分的过程可以直接从光流中进行动态监督。我们的方法显著改善了4D动态内容生成和高斯分布下的4D新视角合成，特别是对于那些难以通过现有方法处理的富有运动的内容。同时，改进后的高斯动态解决了4D生成中常见的色偏问题。广泛的实验表明，我们的方法在4D生成和4D新视角合成两个任务上都取得了最先进的结果。

论文旨在解决使用高斯喷溅创建4D场的问题，特别是在处理具有丰富运动的内容时存在的问题。同时，论文也试图解决4D生成中常见的颜色漂移问题。

论文提出了一种新概念，高斯流，将3D高斯动态和连续帧之间的像素速度联系起来。高斯流可以通过将高斯动态喷洒到图像空间中来高效地获得。这种可微分的过程使得可以直接从光流进行动态监督。

论文通过实验展示了该方法在4D动态内容生成和4D新视角合成任务中的显著优势，并解决了4D生成中常见的颜色漂移问题。论文使用了多个数据集，并提供了开源代码。该方法在定量和定性评估中均取得了最先进的结果，并且值得进一步研究。

近期在这个领域中的相关研究包括：'DeepSplat: Efficient and Scalable Ray-Splatting Framework for Volumetric Rendering'、'NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis'、'Neural Volumes: Learning Dynamic Renderable Volumes from Images'等。