LiDAR4D: Dynamic Neural Fields for Novel Space-time View LiDAR Synthesis

虽然神经辐射场（NeRF）在图像新视角合成（NVS）方面取得了成功，但激光雷达NVS仍然很少被探索。以往的激光雷达NVS方法仅采用了简单的图像NVS方法，而忽略了激光雷达点云的动态性和大规模重建问题。鉴于此，我们提出了LiDAR4D，一种可微分的仅基于激光雷达的框架，用于新的时空激光雷达视角合成。考虑到稀疏性和大规模特征，我们设计了一种4D混合表示，结合多平面和网格特征，以粗到精的方式实现有效的重建。此外，我们引入了从点云导出的几何约束，以提高时间一致性。为了实现激光雷达点云的逼真合成，我们结合射线丢失概率的全局优化，以保留跨区域模式。在KITTI-360和NuScenes数据集上的广泛实验表明，我们的方法在实现几何感知和时间一致的动态重建方面具有优越性。代码可在https://github.com/ispc-lab/LiDAR4D上获得。

论文旨在解决LiDAR点云的动态重建和新视角合成问题，以及提高时间一致性和几何一致性。

论文提出了一种可微分的LiDAR-only框架LiDAR4D，结合多平面和网格特征的4D混合表示，通过粗到细的方式实现有效的重建。同时，引入了从点云导出的几何约束来提高时间一致性，并通过全局ray-drop概率优化来实现LiDAR点云的真实合成。

论文在KITTI-360和NuScenes数据集上进行了广泛的实验，展示了该方法在动态重建和新视角合成方面的卓越性能。代码已公开。

近期的相关研究包括：NeRF和LiDAR NVS方法。