中科院自动化所|面向多智能体协作的注意力增强强化学习

【标题】Attention Enhanced Reinforcement Learning for Multi agent Cooperation

【作者团队】Zhiqiang Pu,Huimu Wang,Zhen Liu,Jianqiang Yi

【发表日期】2022.2.18

【论文链接】https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9716772

【推荐理由】本文提出了一种称为注意力增强强化学习 (AERL) 的新方法，以解决多智能体协作的复杂交互、有限通信范围和时变通信拓扑等问题。AERL 包括一个通信增强网络 (CEN)、一个图时空长短期记忆网络 (GST-LSTM) 和共享多伪评论家近端策略优化 (PS-MPC-PPO) 的参数。具体来说，基于图注意力机制的 CEN 旨在扩大智能体的通信范围并处理智能体之间的复杂交互。GST-LSTM 将 LSTM 中的标准全连接（FC）算子替换为图注意力算子，旨在捕捉时间依赖性，同时保持 CEN 学习的空间结构。PS-MPC-PPO, 它通过参数共享将多智能体系统中的近端策略优化 (PPO) 扩展到具有大量训练智能体的环境中，其设计具有多伪批评者，以减轻训练中的偏差问题并加速收敛过程。三组代表性场景的仿真结果，包括编队控制、群体遏制和捕食者-猎物博弈，证明了 AERL 的有效性和鲁棒性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除