VGGT: Visual Geometry Grounded Transformer

我们提出了 VGGT，这是一种前馈神经网络，能够直接从一个、几个或数百个视图中推断出场景的所有关键 3D 属性，包括相机参数、点地图、深度地图和 3D 点轨迹。这种方法在 3D 计算机视觉领域迈出了重要的一步，以往的模型通常受限于单一任务并专门针对这些任务设计。VGGT 方法还具有简单高效的特点，能够在不到一秒的时间内重建图像，并且其效果仍然优于需要通过视觉几何优化技术进行后处理的替代方法。该网络在多个 3D 任务中取得了最先进的结果，包括相机参数估计、多视角深度估计、稠密点云重建和 3D 点跟踪。我们还展示了使用预训练的 VGGT 作为特征提取骨干可以显著提升下游任务的效果，例如非刚性点跟踪和前馈式新视角合成。代码和模型已在 https://github.com/facebookresearch/vggt 公开提供。

该论文试图解决从单张或多张图像中同时推断场景的所有关键3D属性的问题，包括相机参数、深度图、点云和3D点轨迹。这是一个具有挑战性的问题，因为传统方法通常专注于单一任务，并依赖复杂的后处理步骤。

VGGT 是一种前馈神经网络，能够直接从一张或多张图像中推断出完整的3D场景信息。相比现有方法，它通过端到端的方式统一处理多个3D任务，而不需要额外的几何优化步骤。这种方法不仅简化了流程，还显著提高了效率和性能。

1. VGGT 在多项3D任务上取得了最先进的结果，例如相机参数估计、多视角深度估计和密集点云重建。 2. 实验表明，使用预训练的VGGT作为特征提取器可以显著提升下游任务（如非刚性点跟踪和无优化新视图合成）的表现。 3. 网络能够在不到一秒的时间内完成图像重建，表现出高效性。 4. 论文提供了开源代码和模型，方便社区进一步研究和应用。 5. 值得深入研究的方向包括如何将VGGT扩展到动态场景或更大规模的数据集上。

最近的相关研究包括： 1. "MVSNet: Depth Inference for Multi-View Stereo by Training CNNs" - 提出了一种基于CNN的多视角立体深度推断方法。 2. "ColMap: General Framework for Monocular and Multi-view 3D Reconstruction" - 提供了一个通用的单目和多视角3D重建框架。 3. "NeRF: Neural Radiance Fields for View Synthesis" - 使用神经辐射场实现高质量的新视角合成。 4. "DeepV2D: Video to Depth with Differentiable Projective Rendering" - 结合视频输入生成深度图。 这些方法大多关注特定任务，而VGGT则尝试以统一的方式解决多个任务。