Crowd-Sourced NeRF: Collecting Data from Production Vehicles for 3D Street View Reconstruction

最近，神经辐射场（NeRF）在新视角合成方面取得了令人瞩目的成果。Block-NeRF展示了利用NeRF构建大型城市模型的能力。在大规模建模中，需要大量的图像数据。从专门设计的数据收集车辆中收集图像无法支持大规模应用。如何获取大规模高质量的数据仍然是一个未解决的问题。注意到汽车行业拥有大量的图像数据，众包是大规模数据收集的方便方式。在本文中，我们提出了一个众包框架，利用生产车辆捕获的大量数据来使用NeRF模型重构场景。这种方法解决了大规模重建的关键问题，即数据从哪里来以及如何使用它们。首先，众包的大量数据被过滤以消除冗余，并在时间和空间上保持平衡分布。然后执行结构从运动模块以细化相机姿态。最后，图像以及姿态被用于在某个块中训练NeRF模型。我们强调，我们提出了一个综合框架，集成了多个模块，包括数据选择，稀疏3D重建，序列外观嵌入，地面深度监督和遮挡补全。完整的系统能够有效地处理和重构来自众包数据的高质量3D场景。进行了广泛的定量和定性实验来验证我们系统的性能。此外，我们提出了一个应用程序，名为第一视角导航，利用NeRF模型生成3D街景并通过合成视频指导驾驶员。

如何利用大规模高质量的图像数据进行大规模的三维重建仍然是一个开放性问题

利用汽车行业的大量图像数据，通过众包的方式进行数据过滤和处理，使用NeRF模型进行大规模三维重建，包括数据选择、稀疏三维重建、序列外观嵌入、地面深度监督和遮挡补全等多个模块的综合框架

论文提出的综合框架能够有效地处理和重建高质量的三维场景，实验结果表明其性能优于当前领域的其他方法，同时提出了一种名为“first-view navigation”的应用，可以生成3D街景并指导驾驶员进行导航

最近在这个领域中，还有一些相关研究，如Multi-View Stereo、3D场景重建、NeRF等