Taming Transformers for Realistic Lidar Point Cloud Generation

Diffusion Models（DMs）在激光雷达点云生成任务中取得了最先进的结果，这要归功于它们在采样过程中稳定的训练和迭代精化。然而，由于其固有的去噪过程，DMs通常无法真实地模拟激光雷达射线掉落噪声。为了保留迭代采样的优势，同时增强射线掉落噪声的生成，我们介绍了LidarGRIT，这是一种生成模型，它使用自回归变换器在潜在空间中迭代地采样距离图像，而不是图像空间。此外，LidarGRIT利用VQ-VAE分别解码距离图像和射线掉落掩模。我们的结果表明，与KITTI-360和KITTI里程数据集上的最先进模型相比，LidarGRIT实现了更优越的性能。代码可在https://github.com/hamedhaghighi/LidarGRIT上获得。

论文旨在解决Diffusion Models（DMs）在Lidar点云生成任务中无法真实地模拟Lidar raydrop噪声的问题。这是一个新问题。

LidarGRIT是一个生成模型，使用自回归变压器在潜在空间中迭代地对范围图像进行采样，而不是在图像空间中。此外，LidarGRIT利用VQ-VAE分别解码范围图像和raydrop掩码。

论文的实验结果表明，LidarGRIT在KITTI-360和KITTI里程表数据集上的性能优于SOTA模型。论文提供了开源代码。

最近相关的研究包括：1. PointFlow：Flow-based Generation of 3D Point Clouds（ICML 2020）；2. DeepSDF：Learning Continuous Signed Distance Functions for Shape Representation（CVPR 2019）；3. Occupancy Networks: Learning 3D Reconstruction in Function Space（CVPR 2019）。