PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar

单视角的三维重建具有挑战性，因为单眼线索的歧义以及关于遮挡区域的缺乏信息。神经辐射场（NeRF）虽然在视图合成和三维重建中很受欢迎，但通常依赖于多视图图像。现有的使用NeRF进行单视角三维重建的方法依赖于数据先验来虚构遮挡区域的视图，这可能不是物理上准确的，或者依赖于RGB相机观察到的阴影，在环境光和低反射率背景下难以检测。我们提出使用单光子雪崩二极管捕获的飞行时间数据来克服这些限制。我们的方法使用激光雷达瞬态数据对NeRF进行两次反射光路建模，以进行监督。通过利用NeRF和激光雷达测量的两次反射光路的优势，我们演示了我们可以重建可见和遮挡几何形状，而无需数据先验或依赖于控制的环境光照或场景反射率。此外，我们演示了在传感器空间和时间分辨率的实际约束下改进的泛化能力。我们相信，随着单光子激光雷达在消费设备（如手机、平板电脑和头戴式设备）上越来越普遍，我们的方法是一个有前途的方向。

解决单视角下的三维重建问题，利用单光子激光雷达数据来克服数据先验和环境光照以及场景反射率的限制。

使用单光子激光雷达数据作为监督信号，结合NeRF模型对光线进行建模，重建可见和被遮挡的几何结构，无需数据先验或环境光照和场景反射率的控制。

论文的实验结果表明，该方法可以在传感器空间和时间分辨率的实际限制下实现更好的泛化性能。该方法还能够在消费设备上得到广泛应用，例如手机、平板电脑和头戴式设备。论文还提供了数据集和代码供进一步研究使用。

相关研究包括：'Single-View 3D Reconstruction with Multi-Plane Augmentation'，'Single-View 3D Reconstruction with Space Carving using Augmented Reality Priors'，'NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections'等。