image.png

论文链接：
https://openreview.net/pdf?id=2nWUNTnFijm
代码链接：
https://github.com/OpenPerceptionX/TCP

01. 写在前面

热爱自动驾驶研究的你，是否还在为如何融合多传感器信息而苦恼，亦或是为提升上游检测和预测模块的点数而卷得不可开交？不妨换个思路，在端到端模型输出形式上对症下药，乘坐我们的TCP，纵使路途遥远充满挑战，也能安全为您保驾护航。

本文我们将介绍一项被 Thirty-sixth Conference on Neural Information Processing Systems (NeurIPS’22) 会议接收的新工作，我们于该工作中提出了一种名为 TCP 的模端到端自动驾驶模型，目标即是将轨迹规划和控制预测结合到一个统一的框架中，从而取长补短，获得优异的性能。

该工作的亮点总结如下：

  • 我们通过大量实验分析了两种输出模型（轨迹预测+PID模型和直接输出控制模型）各自的特点。

  • 针对模仿学习中，对于state-action pair独立同分布假设带来的问题，我们提出了推演预测未来多步控制信号的方案，赋予模型较短时序上的推理能力。

  • 我们将轨迹预测分支和多步控制分支整合在一个框架中，并加入二者的交互，并根据先验方案灵活结合两分支输出，获得最佳的最终控制信号。

02. 背景

不同于模块化的自动驾驶方案，端到端的自动驾驶将传感器原始输入直接通过网络得到规划轨迹/控制信号。端到端自动驾驶模型结构简单，直接优化最终的驾驶信号，近年来吸引了诸多学术界和工业界的注意。端到端自动驾驶模型的输出形式主要分为控制信号和轨迹两种。控制信号（如油门，刹车，方向盘转角）可直接作用于自动驾驶的车辆上，而轨迹则需要再结合一个控制器（如PID 控制器）把轨迹转换为最终的控制信号。

CARLA是一个广泛用于自动驾驶相关研究的开源模拟器，CARLA Autonomous Driving Leaderboard 是一个用来衡量自动驾驶模型在复杂城市交通环境下行驶性能的平台，自动驾驶模型需要在不同天气，光照环境下，应对各类富有挑战性的驾驶场景，完成驾驶任务。我们提出的一个统一了两种典型输出形式（轨迹规划和控制预测）的端到端自动驾驶（E2E AD）模型 - TCP （Trajectory-guided Control Prediction），仅使用单一单目相机作为输入，便取得了75.14 Driving Score 和 0.87 Infraction Penalty，在CARLA Autonomous Driving Leaderboard上取得了 第一名 的分数（截至2022.6.24），远超其他使用多传感器输入的方法（多相机和激光雷达）。

03. Motivation

轨迹和直接控制信号这两种输出形式各自拥有一些不同的特点:

  • 轨迹是未来每个时间步车辆的位置，轨迹这种输出形式自然地包含了对未来一小段时间的考虑，并且可以进一 步与额外的他车轨迹预测模块或检测和分割模块结合，从而减少碰撞率。然而，轨迹需要通过额外的控制器将其转换为最终的控制信号，当前常用的PID控制器不仅需要大量调参，在车辆拐大弯或启动时可能表现不佳，车辆无法真正行驶出贴合预测轨迹的路线。

  • 对于直接输出控制信号的模型，最终的信号能够直接被优化，然而，对当前时刻对应控制信号直接优化会导致模型仅仅关注当前时刻，缺乏对未来的考虑，可能使得刹车不及时导致的碰撞增大。

我们提出的TCP（Trajectory-guided Control Prediction）模型，目标即是将二者结合到一个统一的框架中，从而取长补短，获得优异的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除