TeraSim-World: Worldwide Safety-Critical Data Synthesis for End-to-End Autonomous Driving

安全且可扩展的端到端（E2E）自动驾驶系统的部署需要大量且多样化的数据，尤其是涉及安全关键场景的事件。现有的数据大多来自存在显著仿真与现实差距的模拟器，或通过成本高昂且存在安全隐患的道路实测采集。本文提出了TeraSim-World，这是一种自动化流水线系统，能够在全球任意位置生成逼真且地理上多样化的安全关键数据，用于端到端自动驾驶。从任意地理位置出发，TeraSim-World从地理空间数据源中提取真实世界地图和交通需求；随后，基于自然驾驶数据集模拟交通参与者的行为，并系统性地引入多种干扰因素以构建边缘案例。结合同一地点的街景图像，该系统利用前沿视频生成模型Cosmos-Drive实现照片级真实感、地理定位精确的传感器数据渲染。通过融合交通参与者行为模拟与传感器模拟，TeraSim-World为端到端自动驾驶系统的训练与评估提供了一个可扩展的关键数据合成框架。相关代码和视频资料可在 https://wjiawei.com/terasim-world-web/ 获取。

端到端自动驾驶系统的安全与可扩展部署面临高质量、多样化数据（尤其是安全关键场景）的严重短缺。现有数据主要来自仿真器（存在显著的仿真到真实差距）或实路测试（成本高且不安全），难以大规模生成具有地理多样性的真实感强的安全关键场景数据。

提出TeraSim-World，一个全自动化的数据合成管道，能够在全球任意位置生成逼真且地理多样化的安全关键场景数据。其核心思路是结合真实世界地图与交通需求数据、基于自然驾驶数据的行为模拟、主动引入多样性挑战以构造边缘案例，并利用前沿视频生成模型Cosmos-Drive，根据街景实现照片级真实的传感器渲染，从而弥合行为仿真与感知仿真的鸿沟。

TeraSim-World实现了从地理位置输入到多模态传感器数据输出的全自动化流程；通过集成真实地理信息和前沿生成模型，显著缩小了仿真与现实之间的差距；系统支持可扩展、可控的corner case生成，用于训练和评估E2E自动驾驶模型；作者公开了代码和演示视频，增强了研究的可复现性和透明度；未来可进一步探索生成数据在闭环训练中的有效性以及跨城市泛化能力。

1. “Waymo Open Simulator: An Open-Source Platform for Autonomous Driving Simulation” 2. “CARLA: An Open Urban Driving Simulator” 3. “Synthetic Data in Autonomous Driving: A Survey on Generation, Evaluation, and Transferability” 4. “DreamSim: Real-World Grounded 3D Scene Generation for Autonomous Driving” 5. “VISTA: A Virtual Interactive Space for Testing Autonomy”