Reward-Independent Messaging for Decentralized Multi-Agent Reinforcement Learning

在多智能体强化学习（MARL）中，有效的通信能够提升智能体的表现，尤其是在部分可观测的情况下。我们提出了 MARL-CPC，这是一个无需参数共享即可实现完全去中心化、独立智能体之间通信的框架。MARL-CPC 引入了一种基于集体预测编码（CPC）的消息学习模型，该模型来源于新兴通信研究。与传统方法将消息视为动作空间的一部分并假设合作不同，MARL-CPC 将消息与状态推断相联系，支持在非合作、奖励无关的场景下进行通信。我们提出了两种算法——Bandit-CPC 和 IPPO-CPC，并在非合作的 MARL 任务中对它们进行了评估。基准测试显示，这两种算法均优于标准的消息即动作方法，即使消息对发送者没有直接益处，也能建立有效的通信机制。这些结果突显了 MARL-CPC 在复杂、去中心化环境中实现协调的潜力。

论文试图解决多智能体强化学习（MARL）中，如何在不共享参数的情况下实现完全去中心化、独立智能体之间的有效通信问题。特别是在非合作环境中，验证是否可以通过信息传递机制促进智能体协调，即使这些信息对发送者没有直接奖励。

论文提出了一种名为MARL-CPC的框架，该框架基于集体预测编码（CPC）的思想，将消息与状态推断关联起来，而不仅仅是将其视为动作空间的一部分。这种方法支持在非合作、奖励无关的设置下进行通信，并引入了Bandit-CPC和IPPO-CPC两种算法来验证其有效性。相比现有方法，MARL-CPC无需假设智能体间的合作，拓展了通信的应用场景。

1. MARL-CPC在非合作任务中表现优于传统的消息即动作方法；2. 提出的Bandit-CPC和IPPO-CPC算法展示了即使消息对发送者无直接好处时，仍能建立有效的通信；3. 论文设计了多个基准测试来评估算法性能；4. 虽未明确提及代码开源，但研究结果表明该框架具有广泛的实际应用潜力，例如复杂去中心化环境中的协调任务；5. 值得进一步探索的方向包括更复杂的通信协议以及不同奖励结构下的适应性。

最近相关研究包括：1.「Emergent Communication in Multi-Agent Reinforcement Learning」探讨了通过强化学习产生自然通信的可能性；2. 「Learning to Communicate with Deep Multi-Agent Reinforcement Learning」提出了结合深度学习和MARL的方法以优化通信；3. 「Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments」研究了混合合作竞争环境下的策略学习；4. 「Decentralized Multi-Agent Reinforcement Learning in Average-Reward Markov Games」关注去中心化MARL在平均奖励马尔可夫博弈中的应用。