Neural Surface Reconstruction and Rendering for LiDAR-Visual Systems

本文提出了一种统一的LiDAR-视觉系统表面重建和渲染框架，集成了神经辐射场（NeRF）和神经距离场（NDF）来从位姿图像和点云中恢复外观和结构信息。我们通过利用可见感知占据地图将空间分类为自由、占据、可见未知和背景区域，解决了NeRF和NDF之间的结构可见间隙问题。这种分类有助于恢复场景的完整外观和结构。我们使用空间可变比例SDF-to-density转换统一了NDF和NeRF的训练，以实现结构和外观的多层次细节。所提出的方法利用学习的NDF进行结构感知的NeRF训练，通过自适应球追踪采样策略实现准确的结构渲染。反过来，NeRF进一步改进了NDF中缺失或模糊结构的结构恢复。广泛的实验表明了所提出的方法在各种情况下的优越品质和多功能性。为了造福社区，代码将在\url{https://github.com/hku-mars/M2Mapping}上发布。

本文旨在解决LiDAR-Visual系统中的表面重建和渲染问题，同时恢复出场景的外观和结构信息。

本文提出了一种可视化感知的占据地图，将空间分为自由、占据、可见未知和背景区域，以便更好地恢复场景的完整外观和结构。通过使用空间可变的尺度SDF-to-density转换来统一训练NDF和NeRF，实现了结构和外观的多层次细节。利用自适应球追踪采样策略，将学习到的NDF用于结构感知的NeRF训练，并且NeRF进一步完善了NDF中缺失或模糊的结构。

本文的实验结果表明了其方法的优越性和多样性。作者将代码放在了GitHub上，以便更好地造福社区。值得关注的是，本文的方法还可以用于其他领域的研究。

近期在这个领域中的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。