GaussianPrediction: Dynamic 3D Gaussian Prediction for Motion Extrapolation and Free View Synthesis

本文旨在探讨在动态环境中预测未来场景对于智能决策和导航的重要性，这是计算机视觉和机器人技术尚未完全实现的挑战。传统的方法，如视频预测和新视角合成，要么缺乏从任意视角预测的能力，要么无法预测时间动态。因此，本文提出了一种名为GaussianPrediction的新框架，该框架利用3D高斯表示法对动态场景建模和未来场景合成进行预测。GaussianPrediction可以使用动态场景的视频观察结果从任意视角预测未来状态。为此，我们首先提出了一个具有变形建模的3D高斯规范空间，以捕捉动态场景的外观和几何形状，并将生命周期属性集成到高斯中，用于不可逆变形。为了使预测可行和高效，我们开发了一种同心运动精华提取方法，通过关键点提取场景运动。最后，我们采用图卷积网络来预测关键点的运动，从而实现未来场景的逼真图像渲染。我们的框架在合成和真实数据集上表现出优异的性能，证明了它在预测和渲染未来环境方面的有效性。

在动态环境中预测未来场景是智能决策和导航的关键，但传统方法无法从任意视角预测未来状态，也无法预测时间动态。因此，本论文旨在提出一种新的框架，通过3D高斯表示法进行动态场景建模和未来场景合成，解决这个问题。

本文提出了一种3D高斯标准空间，结合形变建模来捕捉动态场景的外观和几何形状，并将生命周期属性融入高斯函数中。通过浓缩场景运动和关键点，实现了一个同心运动浓缩方法。最后，使用图卷积网络预测关键点的运动，实现未来场景的逼真图像渲染。

本文的方法在合成和真实数据集上表现出色，具有很高的预测和渲染未来环境的效果。本文提出的3D高斯表示法和同心运动浓缩方法是本文的亮点。实验使用了多个数据集，并且开源了代码。

最近的相关研究包括《Video Prediction using Pixel-Wise Masking and Feature-Based Flow》和《Learning to Navigate Unseen Environments: Back Translation with Environmental Dropout》等。