CARL: Congestion-Aware Reinforcement Learning for Imitation-based Perturbations in Mixed Traffic Control

人驾驶车辆（HVs）表现出复杂和多样化的行为。准确地对这种行为建模对于在模拟中验证机器人车辆（RVs）和实现混合交通控制的潜力至关重要。然而，现有的方法如参数化模型和数据驱动技术难以捕捉到完整的复杂性和多样性。为了解决这个问题，在本文中，我们介绍了CARL，一种混合技术，结合了模仿学习用于近距离跟车和概率抽样用于更大的车头距离。我们还提出了两类基于强化学习的RV：一个安全RV，专注于最大化安全性，一个效率RV，专注于最大化效率。我们的实验表明，安全RV可以将时间到碰撞提高到关键的4秒阈值以上，并将避免碰撞的减速率降低了高达80％，而效率RV可以实现高达49％的吞吐量改进。这些结果证明了CARL在提高混合交通的安全性和效率方面的有效性。

本文旨在解决如何准确建模人驾驶车辆的行为，以便验证机器驾驶车辆的模拟效果并实现混合交通控制的潜力。

本文提出了一种混合技术CARL，结合了模仿学习和概率采样，用于模拟不同跟车间距下的车辆行为。同时，提出了两种基于强化学习的机器驾驶车辆，分别是注重安全和注重效率的车辆。

实验结果显示，注重安全的机器驾驶车辆能够将时间-碰撞（Time-to-Collision）提高到关键的4秒以上，并将避免碰撞的减速率降低了80％。注重效率的机器驾驶车辆在吞吐量方面的改进高达49％。本文的亮点在于将不同的技术相结合，实现了混合交通的安全和效率。

在这个领域中，近期的相关研究包括：1）用于交通流预测的深度学习模型；2）基于模型预测控制的机器驾驶车辆；3）基于强化学习的交通控制。