Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving

在一个以基础模型快速扩展为特征的时代，自动驾驶技术正在接近一个转折点，即由于其数据驱动的扩展潜力，端到端自动驾驶 (E2E-AD) 出现。然而，现有的 E2E-AD 方法大多在开环日志重放模式下进行评估，使用 L2 误差和碰撞率作为指标（例如，在 nuScenes 中），这不能完全反映算法的驾驶性能，正如社区最近所承认的那样。对于那些在闭环协议下评估的 E2E-AD 方法，它们在固定路线上进行测试（例如，在 CARLA 中的 Town05Long 和 Longest6），驾驶分数作为指标，这因度量函数不平滑和长路线中的大量随机性而知名高方差。此外，这些方法通常收集自己的数据进行训练，这使得算法级公平比较不可行。 为了满足全自动驾驶 (FSD) 的全面、真实和公平的测试环境的迫切需求，我们提出了 Bench2Drive，这是第一个用闭环方式评估 E2E-AD 系统多种能力的基准测试。Bench2Drive 的官方训练数据包括 200 万帧完全注释的数据，从 CARLA v2 中 44 个交互场景（插入、超车、绕路等）、23 种天气（晴、雾、雨等）和 12 个城镇（城市、村庄、大学等）中均匀分布的 10000 个短片段中收集而来。其评估协议要求 E2E-AD 模型通过不同位置和天气下的 44 个交互场景，共计 220 条路线，从而提供了在不同情况下评估其驾驶能力的全面和分离评估。我们实现了最先进的 E2E-AD 模型，并在 Bench2Drive 中进行了评估，提供了关于当前状态和未来方向的见解。

提出了Bench2Drive，这是第一个用于评估E2E-AD系统多种能力的闭环测试基准，旨在解决现有E2E-AD方法评估不全面、不真实、不公平的问题。

Bench2Drive的官方训练数据包括来自CARLA v2的10000个短剪辑的200万个完全注释帧，涵盖了44个交互场景、23种天气和12个城镇。评估协议要求E2E-AD模型通过44个交互场景，共计220个路线，从而提供在不同情况下的驾驶能力的全面评估。这篇论文实现了最先进的E2E-AD模型，并在Bench2Drive中进行了评估，提供了有关当前状态和未来方向的见解。

Bench2Drive是第一个用于评估E2E-AD系统多种能力的闭环测试基准。它的官方训练数据包括来自CARLA v2的10000个短剪辑的200万个完全注释帧，涵盖了44个交互场景、23种天气和12个城镇。评估协议要求E2E-AD模型通过44个交互场景，共计220个路线，从而提供在不同情况下的驾驶能力的全面评估。论文实现了最先进的E2E-AD模型，并在Bench2Drive中进行了评估，提供了有关当前状态和未来方向的见解。

最近的相关研究包括：1）nuScenes中使用L2误差和碰撞率作为指标评估E2E-AD方法；2）CARLA中的Town05Long和Longest6中使用驾驶分数作为指标评估E2E-AD方法；3）许多E2E-AD方法都会收集自己的数据进行训练，这使得算法级的公平比较不可行。