DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

激光雷达场景生成近年来发展迅速。然而，现有的方法主要集中在生成静态和单帧场景，忽视了真实驾驶环境固有的动态特性。在这项工作中，我们引入了DynamicCity，这是一种新颖的4D激光雷达生成框架，能够生成大规模、高质量的激光雷达场景，捕捉动态环境的时间演变。DynamicCity主要由两个关键模型组成。1）用于学习HexPlane作为紧凑4D表示的VAE模型。DynamicCity不使用简单的平均操作，而是采用一种新颖的投影模块，有效地将4D激光雷达特征压缩成六个2D特征图，用于构建HexPlane，这显著提高了HexPlane的拟合质量（最多提高12.56 mIoU）。此外，我们利用扩展与压缩策略并行重建3D特征体，相比逐点查询的方法，不仅提高了网络训练效率和重建精度（最多提高7.05 mIoU，训练速度提升2.06倍，内存减少70.84%）。2）基于DiT的扩散模型用于生成HexPlane。为了使HexPlane适用于DiT生成，提出了一种填充展开操作，将HexPlane的六个特征平面重新组织为一个方形的2D特征图。特别是，可以在扩散或采样过程中引入各种条件，支持多种4D生成应用，如轨迹驱动生成、命令驱动生成、修复和布局条件生成。在CarlaSC和Waymo数据集上的大量实验表明，DynamicCity在多个指标上显著优于现有的最先进的4D激光雷达生成方法。代码将对外发布，以促进未来的研究。

该论文旨在解决现有LiDAR场景生成方法主要集中在静态和单帧场景生成的问题，忽略了真实驾驶环境中的动态特性。这是一个新的问题，因为现有的大多数研究都未能充分考虑时间维度上的动态变化。

论文提出了DynamicCity框架，通过两个关键模型来生成大规模、高质量的4D LiDAR场景。1) 使用VAE模型学习HexPlane作为紧凑的4D表示，并通过新颖的Projection Module将4D LiDAR特征压缩为六个2D特征图，显著提高了HexPlane的拟合质量。2) 基于DiT的扩散模型生成HexPlane，并通过Padded Rollout Operation将六个特征平面重组为一个平方的2D特征图，支持多种条件下的4D生成应用。

论文在多个方面展示了显著的改进：1) 提出了创新的Projection Module和Expansion & Squeeze Strategy，分别提升了HexPlane拟合质量和网络训练效率。2) 通过Padded Rollout Operation使HexPlane适用于DiT生成，支持多种条件下的4D生成任务。3) 在CarlaSC和Waymo数据集上进行了广泛的实验，证明了DynamicCity在多个指标上显著优于现有方法。4) 论文将开源代码，促进未来的研究。

近期在这个领域的一些相关研究包括：1) '4D Spatio-Temporal Scene Generation with Volumetric Diffusion Models'，提出了一种基于体积扩散模型的4D场景生成方法。2) 'Temporal LiDAR Scene Synthesis via Conditional GANs'，利用条件GAN生成时间序列的LiDAR场景。3) 'Learning to Generate Dynamic 3D Scenes from a Single Image'，通过单张图像生成动态3D场景。这些研究都在探索如何更好地生成动态的LiDAR场景，但DynamicCity在4D表示和生成方面提出了新的解决方案。