Graph Neural Network-based Multi-agent Reinforcement Learning for Resilient Distributed Coordination of Multi-Robot Systems

现有的多智能体协调技术往往很脆弱，容易受到智能体流失和通信干扰等异常情况的影响，在实际部署领域机器人等系统中经常出现。为了更好地为这些系统做好实际应用的准备，我们提出了一种基于图神经网络（GNN）的多智能体强化学习（MARL）方法，用于实现多机器人系统的弹性分布式协调。我们的方法，即基于多智能体近端策略优化（PPO）的多智能体图嵌入协调（MAGEC），能够在智能体流失、部分可观测性和通信有限或受干扰的情况下，实现围绕全局目标的分布式协调。我们使用一个多机器人巡逻场景，在基于ROS 2的模拟器中演示了我们的MAGEC方法，然后将其性能与之前的协调方法进行了比较。结果表明，在涉及智能体流失和通信干扰的几个实验中，MAGEC优于现有方法，并在没有这些异常情况的场景中提供了有竞争力的结果。

本论文旨在解决多智能体协调技术在现实环境中容易受到异常情况干扰的问题，提出了一种基于图神经网络的多智能体强化学习方法，用于实现分布式协调和应对异常情况。

本文提出的MAGEC方法使用图神经网络和多智能体PPO算法进行训练，可以在智能体减少、部分可观测性和有限或受干扰的通信下实现分布式协调。

本文使用ROS 2模拟器中的多机器人巡逻场景进行实验，与现有的协调方法进行比较，结果表明MAGEC在智能体减少和通信干扰等异常情况下表现优异，并在没有异常情况的情况下提供了有竞争力的结果。

与本文相关的研究包括：Multi-Agent Reinforcement Learning (MARL)、Proximal Policy Optimization (PPO)、Graph Neural Networks (GNNs)等。