DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation

闭环评估对于端到端自动驾驶系统正变得愈发关键。目前基于CARLA仿真器的闭环评测基准依赖于人工配置的交通场景，这些场景可能与真实世界情况存在偏差，从而限制了其反映实际驾驶性能的能力。为解决这一问题，我们提出了一种简单但具有挑战性的闭环评估框架，该框架通过基础设施协同，将真实世界的驾驶场景紧密集成到CARLA仿真器中。我们的方法包括：从由高位架设的基础设施传感器采集的长达100小时的视频数据集中提取800个动态交通场景，并为15个真实路口构建具备一致视觉外观的静态数字孪生资产。这些数字孪生体能够精确复现对应真实路口的交通流和环境特征，从而在CARLA中实现更逼真的仿真。由于涉及复杂城市交叉口多样的驾驶行为、地理位置、天气条件以及不同时段，该评估任务极具挑战性。此外，我们还提供了一个全面的闭环基准，用于评估端到端自动驾驶模型。项目网址：\href{https://github.com/AIR-THU/DriveE2E}{https://github.com/AIR-THU/DriveE2E}。

现有的端到端自动驾驶闭环评估主要依赖于人工配置的交通场景（如CARLA中的标准测试），这些场景与真实世界存在较大差异，导致评估结果难以反映模型在现实复杂环境中的实际表现。该问题尚未被充分解决，尤其在真实动态交通行为和多样化城市交叉口环境的还原方面仍存在明显不足。

提出一种基于真实世界基础设施传感器数据构建高保真数字孪生的方法，将800个真实动态交通场景和15个真实路口的静态三维资产集成到CARLA仿真器中，实现具有真实驾驶行为、天气、时段和道路结构的闭环评估框架。其创新在于通过路侧感知数据驱动仿真场景生成，显著提升模拟的真实性与挑战性。

从100小时高空摄像头视频中提取真实交通流；构建15个真实路口的视觉一致数字孪生；支持复杂城市环境下多样化的驾驶行为测试；开源了完整的评估框架与数据集（GitHub: DriveE2E）；实验设计覆盖多种天气、时间和交通密度条件，具备强泛化性检验能力；为未来真实-虚拟融合评估提供了可扩展范式。

1. TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving in Urban Environments 2. Interaction Dataset: An International Benchmark for Motion Prediction of Vehicles, Pedestrians and Cyclists based on On-Board Sensor Data 3. LaRa: Large-Scale Road Layout Reconstruction using Vision-Based Mapping 4. Urban Driver: Building Real-World Driving Scenarios into Simulation via Infrastructure Sensing 5. PIE: A Photorealistic Driving Environment Synthesized from Real-World Videos