【标题】Transferring Multi-Agent Reinforcement Learning Policies for Autonomous Driving using Sim-to-Real

【作者团队】Eduardo Candela, Leandro Parada, Luis Marques, Tiberiu-Andrei Georgescu, Yiannis Demiris, Panagiotis Angeloudis

【发表日期】2022.3.22

【论文链接】https://arxiv.org/pdf/2203.11653.pdf

【推荐理由】自动驾驶要求智能体之间高度协调和协作。在多智能体系统中实现有效的协调是一项艰巨的任务，在很大程度上尚未解决。多智能体强化学习考虑了智能体之间的交互并且还允许分散训练——这使得它具有高度可扩展性。然而，将策略从模拟转移到现实世界是巨大的挑战，即使对于单智能体应用也是如此。由于智能体协作和环境同步，多代理系统增加了Sim-to-Real差距的复杂性。本文提出了将多智能体自主驾驶策略转移到现实世界的方法。其创建了一个多智能体环境，模拟Duckietown多机器人试验台的动态，并使用不同级别的域随机化MAPPO算法训练多智能体策略。然后，将经过训练的策略转移到Duckietown测试平台，并将MAPPO算法与传统的基于规则的方法进行比较。研究发现，使用MAPPO和域随机化的转移策略的回报平均是基于规则的方法的1.85倍。此外，研究还表明，不同级别的参数随机化对 Sim-to-Real 差距有重大影响。

内容中包含的图片若涉及版权问题，请及时与我们联系删除