Exponential Topology-enabled Scalable Communication in Multi-agent Reinforcement Learning

在多智能体强化学习（MARL）中，精心设计的通信协议可以有效地促进智能体之间的共识，从而提升任务表现。此外，在现实应用中常见的大规模多智能体系统中，由于与小规模设置相比，部分可观测性的挑战加剧，有效的通信发挥着更为关键的作用。在这项工作中，我们致力于开发一种可扩展的通信协议用于MARL。与之前专注于选择最优点对点通信链路的方法不同——随着智能体数量的增加，这一任务变得越来越复杂——我们从全局角度出发设计通信拓扑结构。具体而言，我们提出利用指数拓扑结构，通过其小直径和小规模特性来实现智能体之间的快速信息传播。这种方法导致了一种名为ExpoComm的可扩展通信协议。为了充分发挥指数图作为通信拓扑结构的潜力，我们采用基于记忆的消息处理器和辅助任务来锚定消息，确保它们反映全局信息并有利于决策。在包括MAgent和基础设施管理规划在内的大规模合作基准上的广泛实验表明，ExpoComm相比现有的通信策略表现出优越的性能和强大的零样本迁移能力。代码已公开发布在https://github.com/LXXXXR/ExpoComm。

该论文试图解决在大规模多智能体系统中，由于部分可观测性增加而导致的通信复杂性和决策挑战。随着智能体数量的增加，选择最优的两两通信链路变得极其复杂，现有的方法难以应对这种规模的系统。因此，研究者们需要一种新的、可扩展的通信协议来提升任务性能和决策效率。

关键思路是采用全局视角设计通信拓扑结构，而非专注于选择最优的两两通信链路。具体来说，研究者提出了利用指数拓扑（exponential topology），因其具有小直径和小尺寸的特点，能够快速传播信息。此外，通过引入基于记忆的消息处理器和辅助任务，确保消息能反映全局信息并有助于决策。这与传统方法相比，提供了一种全新的、更高效的通信方式。

论文展示了在多个大规模合作基准测试中的优越性能，包括MAgent和基础设施管理规划任务，证明了ExpoComm的有效性和鲁棒性。实验设计涵盖了多种场景，验证了该方法的广泛适用性。代码已公开发布，便于后续研究者复现和改进。未来可以进一步探索如何将此方法应用于更多实际场景，并优化其在动态环境中的表现。

近期相关研究包括：1. 使用图神经网络（GNN）进行多智能体通信优化；2. 强化学习中的注意力机制用于提高通信效率；3. 基于区块链的去中心化多智能体系统。一些相关论文标题如《Graph Neural Networks for Multi-Agent Communication》、《Attention Mechanisms in MARL》、《Decentralized Multi-Agent Systems with Blockchain》等。