On-the-fly Large-scale 3D Reconstruction from Multi-Camera Rigs

近期在3D高斯点阵（3D Gaussian Splatting, 3DGS）方面的进展实现了高效的自由视点渲染和照片级真实感的场景重建。尽管已有针对单目RGB视频流的实时3DGS在线扩展方法展现出潜力，但由于视场角（FOV）有限，这些方法往往难以实现完整的三维覆盖。采用多相机系统可从根本上解决这一局限性。本文提出了首个面向多相机系统的在线三维重建框架。我们的方法将来自多个重叠视角相机的稠密RGB视频流逐步融合到统一的高斯表示中，实现了无漂移的轨迹估计与高效的在线重建。我们设计了一种分层的相机初始化方案，可在无需标定的情况下实现相机间的粗略对齐；随后引入一种轻量化的多相机光束法平差优化方法，在保持实时性能的同时稳定运动轨迹估计。此外，我们提出了一种无冗余的高斯采样策略以及基于频率感知的优化调度机制，以减少所需的高斯图元数量和优化迭代次数，从而兼顾系统效率与重建精度。我们的方法仅利用原始的多相机视频流，即可在两分钟内完成数百米尺度三维场景的重建，展现了前所未有的重建速度、鲁棒性与保真度。

论文旨在解决单目RGB流在实时3D高斯点阵化（3DGS）重建中因视场受限导致的3D覆盖不完整问题。使用多相机系统虽可扩展视野，但现有方法缺乏高效的在线融合与轨迹优化机制，难以实现大规模场景下无漂移、高保真的实时重建。该问题在多视角动态融合与实时性兼顾方面仍属较新挑战。

提出首个面向多相机系统的端到端在线3D重建框架，通过层次化相机初始化实现无需标定的跨相机粗对齐，并结合轻量级多相机光束法平差实现稳定轨迹估计；同时设计冗余自由的高斯采样策略与频率感知优化调度器，在减少高斯基元数量和优化迭代次数的同时保持高质量重建，显著提升效率与鲁棒性。相比现有3DGS工作，首次实现了多相机系统下的高效在线联合优化与统一表示融合。

系统可在仅2分钟内从原始多相机视频流中重建数百米尺度的3D场景，达到前所未有的速度与保真度；实验基于真实多相机rig数据流验证，展示了大范围户外与室内外混合场景的重建能力；未提及是否开源代码。值得深入的方向包括将该框架扩展至动态场景建模、引入神经辐射场先验以进一步压缩表示，以及在边缘设备上的部署优化。

1. Plenoxels: Radiance Fields from Sparse Views via Pixel Allocations 2. Fast Training of Neural Radiance Fields with Sparse Voxel Hashing 3. 3D Gaussian Splatting for Real-Time Radiance Field Rendering 4. Instant Neural Graphics Primitives with a Multiresolution Hash Encoding 5. Streaming Gaussian Splatting: Memory-Efficient 3D Reconstruction in Dynamic Environments