Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundation Models

为安全关键型物理人工智能系统（例如自动驾驶汽车，AV）收集和标注真实世界的数据既耗时又昂贵。特别是捕获罕见的边缘案例极具挑战性，而这些边缘案例在训练和测试自动驾驶系统中起着至关重要的作用。为应对这一挑战，我们引入了 Cosmos-Drive-Dreams——一个合成数据生成（SDG）管道，旨在生成具有挑战性的场景，以促进下游任务（如感知和驾驶策略训练）。驱动这一管道的是 Cosmos-Drive，这是一套专为驾驶领域设计的模型，基于 NVIDIA Cosmos 世界基础模型开发，能够生成可控、高保真、多视角且时空一致的驾驶视频。我们通过应用 Cosmos-Drive-Dreams 来扩展驾驶数据集的数量和多样性，并展示这些模型的实用性，同时保持高保真度和挑战性场景。实验表明，我们的生成数据有助于缓解长尾分布问题，并提升下游任务（如 3D 车道检测、3D 物体检测和驾驶策略学习）中的泛化能力。我们通过 NVIDIA 的 Cosmos 平台开源了我们的管道工具包、数据集和模型权重。 项目页面：https://research.nvidia.com/labs/toronto-ai/cosmos_drive_dreams

该论文试图解决为自动驾驶系统生成高质量、多样化和具有挑战性的训练数据的问题，特别是针对稀有边缘场景的数据采集难题。这是一个长期存在的问题，但通过合成数据生成（SDG）技术提供了新的解决方案。

论文提出了一种名为Cosmos-Drive-Dreams的合成数据生成管道，基于NVIDIA Cosmos世界基础模型，并专门针对驾驶领域进行了优化。关键思路是利用Cosmos-Drive模型生成可控、高保真、多视角且时空一致的驾驶视频，以扩展数据集的规模和多样性。相比现有方法，这种方法能够更高效地生成稀有边缘场景数据，从而缓解长尾分布问题并提升下游任务的泛化能力。

1. 提出了一个完整的SDG管道，能够生成高质量的驾驶场景数据；2. 实验表明生成的数据在3D车道检测、3D物体检测和驾驶策略学习等任务中显著提升了模型性能；3. 开源了工具包、数据集和模型权重，便于社区复现和进一步研究；4. 强调了生成数据对稀有场景覆盖的重要性，推动了合成数据在安全关键系统中的应用。

最近的相关研究包括：1. 'Learning to Simulate Dynamic Environments for Autonomous Driving'，探讨了动态环境模拟；2. 'Scenario Exploration with Neural Simulation for Autonomous Driving'，研究了基于神经网络的场景探索；3. 'Generative Adversarial Networks for Synthetic Data in Autonomous Vehicles'，使用GAN生成合成数据；4. 'Synthetic Data Generation for Edge Case Detection in AVs'，专注于边缘案例的合成数据生成。这些工作共同推动了自动驾驶领域中合成数据的应用和发展。