Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass

多视图3D重建仍然是计算机视觉中的一个核心挑战，特别是在需要跨多种视角提供准确且可扩展表示的应用中。目前领先的方法，如DUSt3R，采用的是基本的成对处理方法，即逐对处理图像，并需要昂贵的全局对齐程序以从多个视图中重建。在本文中，我们提出了一种新的多视图泛化方法——Fast3R（快速3D重建），该方法通过并行处理多个视图，实现了高效且可扩展的3D重建。Fast3R基于Transformer架构，在单次前向传递中处理N幅图像，从而避免了迭代对齐的需求。通过广泛的相机姿态估计和3D重建实验，Fast3R展示了最先进的性能，在推理速度上有显著提升，并减少了误差累积。这些结果确立了Fast3R作为多视图应用的稳健替代方案的地位，在不牺牲重建精度的前提下提供了增强的可扩展性。

该论文试图解决多视角3D重建这一计算机视觉中的核心挑战，特别是在需要从不同视角准确和可扩展地表示场景的应用中。当前的方法如DUSt3R采用成对处理图像的方式，导致了昂贵的全局对齐过程，限制了其效率和可扩展性。

Fast3R提出了一种基于Transformer架构的新方法，能够在单次前向传递中并行处理N个视图，从而绕过迭代对齐的需求。这不仅提高了处理速度，还减少了误差累积，使得3D重建更加高效和可扩展。

Fast3R通过广泛的实验验证了其在相机姿态估计和3D重建任务上的优越性能。实验设计涵盖了多种数据集，并展示了显著的推理速度提升和误差减少。此外，Fast3R开源了代码，为后续研究提供了基础。未来的研究可以进一步探索更大规模的数据集和更复杂的场景。

最近在这个领域，其他相关研究包括《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《Colmap: Generalizing Multi-View Stereo Reconstruction》以及《PatchmatchNet: Learned Multi-View Stereo Matching with PatchMatch Sampling》。这些工作都致力于提高多视角3D重建的精度和效率，但Fast3R通过并行处理多个视图的独特方式脱颖而出。