DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis with 3D Gaussian Splatting

本文提出了DynMF，一种将动态场景分解为少数神经轨迹的紧凑高效表示方法，以应对时间动态和运动复杂性带来的挑战。作者认为动态场景中的每个点的运动可以分解为一小组显式或学习到的轨迹。DynMF采用了一个小型的学习基础框架，只在时间上查询，可以实现类似于3D高斯喷射的渲染速度，超过120 FPS，并且与静态场景相比，仅需要双倍的存储空间。该神经表示通过将每个点绑定到运动系数来充分约束动态场景的本质上不受约束的运动场，从而实现了有效且快速的优化。通过对运动系数施加稀疏性损失，可以分离组成场景的运动，独立控制它们，并生成以前从未见过的新运动组合。在仅5分钟的训练时间内，我们可以达到最先进的渲染质量，并在不到半小时的时间内，可以合成具有卓越逼真质量的动态场景新视图。DynMF表示方法具有可解释性、高效性和表达能力，足以在单眼和多视角场景下实现复杂动态场景运动的实时视图合成。

论文提出了DynMF方法，旨在解决动态场景建模中的时间动态和运动复杂性问题。该方法将动态场景分解为几个神经轨迹，以有效地优化场景的运动场。

DynMF方法通过将每个点的运动分解为一小组显式或学习到的轨迹，将动态场景分解为几个神经轨迹。通过将每个点绑定到运动系数，可以实现场景的快速优化，并能够生成以前从未见过的新运动组合。

该方法的亮点包括：快速渲染速度，可达到每秒120帧；仅需要双倍于静态场景的存储空间；能够独立控制运动并生成新的运动组合；实验结果表明，该方法可以在5分钟内达到最新的渲染质量，并能够在不到半小时的时间内合成具有卓越照片级质量的动态场景。

在动态场景建模领域的相关研究还包括：《Neural Scene Flow Fields》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。