Delay-Aware Multi-Agent Reinforcement Learning for Cooperative Adaptive Cruise Control with Model-based Stability Enhancement

合作自适应巡航控制（CACC）是在连接和自动驾驶汽车（CAV）系统中编排车队运动的典型控制策略，显著提高了交通效率并降低了能源消耗。近年来，由于效率和灵活性的显著优势，数据驱动方法，如强化学习（RL），已被用于解决此任务。然而，当前基于RL的方法很少考虑在现实CACC系统中经常出现的延迟问题。为了解决这个问题，我们提出了一个延迟感知的多智能体强化学习（DAMARL）框架，旨在实现CACC的安全和稳定控制。我们使用多智能体延迟感知马尔可夫决策过程（MADA-MDP）对整个决策过程进行建模，并开发了一个集中训练和分散执行（CTDE）MARL框架，用于分布式控制CACC车队。引入了一个注意力机制集成的策略网络，以增强CAV通信和决策的性能。此外，还结合了基于速度优化模型的动作过滤器，以进一步确保车队的稳定性。在各种延迟条件和车队规模下的实验结果表明，我们的方法在车队安全性、稳定性和整体性能方面始终优于基线方法。

该论文旨在解决实际CACC系统中经常出现的延迟问题，并提出了一种基于多智能体强化学习的框架，用于实现安全稳定的CACC控制。

该论文的关键思路是使用多智能体延迟感知马尔可夫决策过程模型和中心化训练分散执行的多智能体强化学习框架实现CACC控制，并引入了注意力机制和速度优化模型，以提高CACC通信和决策的性能。

该论文的实验结果表明，所提出的方法在各种延迟条件和车队规模下始终优于基线方法，具有良好的车队安全性、稳定性和整体性能。此外，该论文还使用了公开数据集，提供了开源代码，可供进一步研究使用。

近期的相关研究包括“Deep Reinforcement Learning for Cooperative Adaptive Cruise Control of Connected and Automated Vehicles”和“Distributed reinforcement learning for cooperative adaptive cruise control of connected vehicles in urban roads”等。