Delay-Aware Multi-Agent Reinforcement Learning for Cooperative Adaptive Cruise Control with Model-based Stability Enhancement

合作式自适应巡航控制(CACC)是在联网和自动驾驶汽车(CAV)系统中编排车队移动的典型控制策略，显著提高了交通效率并降低了能源消耗。近年来，数据驱动方法，如强化学习(RL)，由于其效率和灵活性的显著优势，已被用于解决这个任务。然而，实际CACC系统中经常出现的延迟问题很少被当前基于RL的方法考虑。为了解决这个问题，我们提出了一个延迟感知多智能体强化学习(DAMARL)框架，旨在实现CACC的安全和稳定控制。我们使用多智能体延迟感知马尔可夫决策过程(MADA-MDP)对整个决策过程进行建模，并开发了一个集中式训练和分散执行(CTDE)的MARL框架，用于分布式控制CACC车队。引入了一个注意力机制集成的策略网络，以增强CAV通信和决策的性能。此外，还结合了基于速度优化模型的动作过滤器，进一步确保车队的稳定性。在各种延迟条件和车队规模下的实验结果表明，我们的方法在车队安全性、稳定性和整体性能方面始终优于基线方法。

本文旨在解决协作自适应巡航控制（CACC）中延迟问题对强化学习（RL）方法的影响，提出了一种延迟感知多智能体强化学习（DAMARL）框架，以实现CACC的安全和稳定控制。

本文提出了一种基于多智能体延迟感知马尔可夫决策过程（MADA-MDP）的决策模型，并开发了一种集中式训练和分布式执行（CTDE）MARL框架来实现CACC编队的分布式控制。同时，引入了一个注意力机制集成的策略网络以增强CAV通信和决策能力，以及一个基于速度优化模型的动作过滤器以进一步确保编队的稳定性。

本文的实验结果表明，在不同延迟条件和编队规模下，DAMARL方法始终优于基线方法，具有更好的编队安全性、稳定性和整体性能。本文的贡献在于提出了一种新的RL方法来解决实际CACC系统中的延迟问题，以及引入了注意力机制和速度优化模型来进一步提高编队的性能。

最近的相关研究包括使用RL解决CACC问题的其他方法，以及基于其他机器学习技术的CACC控制方法。例如，一些研究使用深度强化学习（DRL）来解决CACC问题。同时，也有一些研究使用模型预测控制（MPC）等其他控制方法来解决CACC问题。