清华大学吴建平教授团队 | ActorRL：一种用于自主交叉口管理的新型分布式强化学习

【标题】ActorRL: A Novel Distributed Reinforcement Learning for Autonomous Intersection Management

【作者团队】Guanzhou Li, Jianping Wu, Yujing He

【发表日期】2022.5.5

【论文链接】https://arxiv.org/pdf/2205.02428.pdf

【推荐理由】作为未来交通的新兴趋势，网联自动驾驶汽车（CAV）具有提高十字路口通行能力和安全性的潜力。在自动交叉口管理（AIM）中，分布式调度算法将交通参与者之间的交互表述为具有信息交换和行为合作的多智能体问题。深度强化学习 (DRL) 作为一种在许多领域获得令人满意的性能的方法，最近已被引入 AIM。为了克服多智能体 DRL 中维数灾难和不稳定性的挑战，本文提出了新的 AIM 问题 DRL 框架 ActorRL，其中actor分配机制在全局观察下将具有不同个性的多个角色附加到 CAV，包括激进的actor、保守的actor，安全第一的actor等。actor与分配给它的 CAV 的集体记忆共享行为策略，在 AIM 中扮演“导航员”的角色。在实验中，通过将所提出的方法与几种广泛使用的调度方法和没有参与者分配的分布式 DRL 进行了比较，结果表明，该方法比基准测试具有更好的性能。