Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving

在一个以基础模型快速扩展为特点的时代，自动驾驶技术正接近一个转折点，即由于其在数据驱动方式下的可扩展性，出现了端到端自动驾驶（E2E-AD）。然而，现有的E2E-AD方法大多采用开环日志重放方式进行评估，以L2误差和碰撞率作为指标（例如，在nuScenes中），这不能完全反映算法的驾驶性能，这一点最近在社区中得到了认可。对于那些在闭环协议下评估的E2E-AD方法，它们是在固定路线（例如，CARLA中的Town05Long和Longest6）上进行测试，以驾驶得分作为指标，这是因为其度量函数不平滑和长路线中的大量随机性而知名高方差。此外，这些方法通常收集自己的数据进行训练，这使得算法级的公平比较不可行。 为了满足全自动驾驶（FSD）所需的全面、真实和公平的测试环境的迫切需求，我们提出了Bench2Drive，这是第一个用闭环方式评估E2E-AD系统多种能力的基准。Bench2Drive的官方训练数据包括来自CARLA v2中44个交互场景（插入、超车、绕路等）、23种天气（晴天、雾天、雨天等）和12个城镇（城市、村庄、大学等）下的10000个短片段，共2百万个完全注释的帧。其评估协议要求E2E-AD模型通过不同位置和天气下的44个交互场景，共计220个路线，从而提供了关于它们在不同情况下的驾驶能力的全面和分解的评估。我们实现了最先进的E2E-AD模型，并在Bench2Drive中对其进行评估，提供了关于当前状态和未来方向的见解。

本论文旨在提出一个全自动驾驶系统评估的基准测试环境，以解决现有评估方法的不足之处。

论文提出了Bench2Drive，一个全自动驾驶系统的评估基准测试环境。该测试环境包含了多个交互场景、天气和城镇，可以提供全面和独立的评估结果。

论文提供了一个全自动驾驶系统评估的基准测试环境Bench2Drive，该环境包含了多个交互场景、天气和城镇，可以提供全面和独立的评估结果。论文还实现了最先进的全自动驾驶系统，并在Bench2Drive上进行了评估。论文的实验数据集是从CARLA v2中收集的，包含了2百万个带注释的帧。论文的代码和数据集也已经开源。

最近的相关研究主要集中在全自动驾驶系统的评估方法上，例如nuScenes和CARLA的评估方法。