4D-VGGT: A General Foundation Model with SpatioTemporal Awareness for Dynamic Scene Geometry Estimation

我们研究了一项具有挑战性的任务——动态场景几何估计，该任务需要同时表征空间和时间特征。通常，现有方法将这两种特征对齐到统一的潜在空间中以建模场景几何结构。然而，由于空间特征与时间特征在本质上的异质性，这种统一范式容易导致表征不匹配的问题。在本研究中，我们提出了4D-VGGT，一种基于分而治之策略的时空表征通用基础模型，用于动态场景几何建模。我们的模型包含三个方面：1）多场景输入。我们设计了一种自适应视觉网格，支持包含任意数量视角和时间步长的输入序列；2）多层次表征。我们提出采用跨视角全局融合来实现空间表征，以及跨时间局部融合来实现时间表征；3）多任务预测。我们在时空表征基础上附加多个任务专用的预测头，从而实现对动态场景全面的视觉几何估计。在此统一框架下，这些组件显著提升了模型在动态场景中的特征判别能力和应用普适性。此外，我们整合了多个几何数据集来训练模型，并开展了大量实验，验证了该方法在多个动态场景几何基准上不同任务中的有效性。

论文试图解决动态场景几何估计中的时空特征表示问题，特别是现有方法将空间和时间特征统一到同一潜在空间时可能导致的表征不匹配问题。由于动态场景同时涉及复杂的几何结构和非刚性运动，如何有效分离并融合时空特征是一个关键挑战。这个问题在三维视觉与视频理解中具有重要价值，虽已有相关研究，但针对异构时空特征解耦建模的系统性方法仍属较新方向。

提出4D-VGGT，一种基于分而治之思想的四维基础模型，将空间与时间特征分别进行独立建模：通过跨视图全局融合处理空间信息，跨时间局部融合处理时间动态。该方法摒弃了传统的统一潜在空间范式，转而采用解耦的多级表示架构，提升了特征判别力与泛化能力。其核心创新在于显式区分时空建模范式，并设计自适应视觉网格以支持任意数量的视角与时间步输入。

模型支持多设置输入、多层级表示与多任务预测，具备良好的通用性；实验在多个动态场景几何基准上进行，整合了多个几何数据集用于训练，验证了方法在不同任务下的有效性；采用了跨任务特定头的设计，实现密集深度估计、光流、表面法线等几何属性联合预测；论文强调了基础模型在动态场景中的可扩展性，但未明确提及代码是否开源，值得后续关注其生态建设与实际部署潜力。

1. Neural Scene Flow Fields for Dynamic Scenes 2. Dynamic Neural Radiance Fields with Time-Querying 3. STaR: Structured Tensor Reconstruction for Dynamic 3D Scenes 4. Flow-edge Guided Scene Flow in RGB-D Sequences 5. 4D Neural Light Field Synthesis