Neural Rendering based Urban Scene Reconstruction for Autonomous Driving

这篇论文探讨了在自动驾驶中密集的三维重建技术的应用，包括自动化注释验证、多模态数据增强、为缺乏激光雷达系统提供地面真实注释以及提高自动标注的准确性等。激光雷达提供高精度但是稀疏的深度信息，而相机图像可以估计密集的深度信息，但在长距离尤其是嘈杂。本文结合神经隐式表面和辐射场的框架，充分利用两种传感器的优势，提出了一种多模态的三维场景重建方法。具体而言，我们的方法估计密集和准确的三维结构，并基于有符号距离场创建一个隐式地图表示，可以进一步渲染成RGB图像和深度图。网格可以从学习到的有符号距离场中提取，并根据遮挡进行剔除。动态物体可以使用3D物体检测模型在采样过程中高效过滤。我们在具有挑战性的汽车场景中展示了定性和定量结果。

本文旨在解决自动驾驶中的稠密三维重建问题，结合激光雷达和摄像头数据，提高自动注释、数据增强、自动标注等方面的精度和效率。

本文提出了一种多模态三维场景重建框架，结合了神经隐式表面和辐射场的方法，基于有符号距离场估计密集和准确的三维结构，并可以进一步渲染成RGB图像和深度图。通过3D物体检测模型，在采样过程中对动态物体进行有效过滤。

本文的方法在自动驾驶场景中进行了定量和定性的实验，取得了较好的效果。此外，作者还开源了代码，并提供了多个数据集，方便其他研究者进行复现和拓展。值得进一步深入研究的方向包括如何进一步提高重建的精度和效率，以及如何将该方法应用于其他领域。

在该领域的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《Learning to Reconstruct 3D Manhattan Wireframes from a Single Image》等。