FullCircle: Effortless 3D Reconstruction from Casual 360$^\circ$ Captures

光场（Radiance fields）已成为三维场景重建中极为有力的工具。然而，由于透视相机视场狭窄，导致视角覆盖范围有限、特征点对应关系不足，从而难以实现可靠的相机标定与三维重建，因此日常随意拍摄（casual capture）仍面临巨大挑战。尽管市面上现有的360°全景相机在同等拍摄投入下，其视角覆盖范围远超传统透视相机，但目前主流的360°重建方法往往依赖特定的拍摄规范与繁复的预处理步骤，这恰恰违背了光场技术所承诺的核心优势——即实现轻松、便捷的三维场景采集与重建工作流。为此，我们提出了一套实用的重建流程，可直接从原始360°相机拍摄数据中重建三维场景：整个流程无需任何特殊拍摄要求或额外预处理步骤，并且对360°影像中普遍存在的重建误差源——即出镜的人类操作者——展现出优异的鲁棒性。为便于客观评估，我们构建了一个多层级数据集，其中所有场景均以原始双鱼眼（dual-fisheye）图像格式采集，由此建立起首个面向鲁棒化、日常化360°重建任务的基准测试平台。实验结果表明，我们的方法不仅显著优于针对360°相机直接适配的朴素版3D高斯泼溅（vanilla 3DGS），而且当从同一组360°原始数据中模拟生成透视相机图像并用于对比时，其性能亦明显超越各类鲁棒的透视相机基线方法，充分验证了360°采集方式在日常化三维重建任务中的固有优势。更多实验结果请参见：https://theialab.github.io/fullcircle

论文旨在解决360°相机在‘随意捕获’（casual capture）场景下的三维场景重建难题——即在无特殊拍摄协议、无人工预处理、无精确标定的前提下，直接从原始双鱼眼360°视频流中鲁棒地重建高质量辐射场。该问题具有现实紧迫性：传统透视相机视场窄、视角覆盖不足，而现有360°重建方法又依赖繁琐的校准、对齐或遮挡处理（如操作者自遮挡），违背了‘轻松捕获、一键重建’这一辐射场技术的初衷。

提出首个端到端、免协议、免预处理的360°辐射场重建管线：1）直接以原始双鱼眼图像为输入，绕过显式球面重投影与帧间配准；2）设计视角感知的球面采样与体渲染策略，适配等距柱状投影（Equirectangular）与双鱼眼混合建模；3）引入操作者鲁棒性建模机制（如动态掩码先验与人体运动一致性正则），隐式抑制手持拍摄中持续出现的操作者自干扰，无需人工擦除或绿幕。

亮点包括：1）构建首个面向‘随意360°捕获’的多层级基准数据集（FullCircle），含原始双鱼眼序列、同步IMU、手动标注的稀疏SfM轨迹及精细网格真值；2）在相同原始采集数据上，对比显示其方法显著优于直接适配3DGS的360°变体，且超越从同一360°视频中虚拟合成的多视角透视基线（证明360°原生建模的信息优势）；3）代码、数据集与预训练模型已全部开源（https://theialab.github.io/fullcircle）；4）后续值得深入的方向包括：联合优化IMU-视觉-神经辐射场、轻量化实时移动端部署、以及面向AR/VR的动态360°辐射场编辑。

近期相关工作包括：'NeRF in the Wild'（CVPR 2022）探索无约束透视NeRF；'360NeRF'（ICCV 2021）首次将NeRF扩展至球面表示但需精确球面配准；'OmniMotion'（ECCV 2022）聚焦360°视频运动估计；'FisheyeNeRF'（CVPR 2023）针对单鱼眼建模但未解决双鱼眼端到端训练；'StreetGaussians'（SIGGRAPH Asia 2023）将3D Gaussian Splatting拓展至车载环视场景，但依赖多相机外参与结构化标定。