LAGMA: LAtent Goal-guided Multi-Agent Reinforcement Learning

在合作多智能体强化学习（MARL）中，智能体合作以实现共同目标，例如打败敌人和进球。然而，在复杂任务中，学习达成此类语义目标的路径需要相当长的时间，训练模型通常无法找到这样的路径。为了解决这个问题，我们提出了LAtent Goal-guided Multi-Agent reinforcement learning（LAGMA），它在潜在空间中生成达成目标的轨迹，并提供潜在目标引导的激励，使转换朝向参考轨迹。LAGMA由三个主要组成部分组成：（a）通过修改的VQ-VAE构建的量化潜在空间，以实现有效的样本利用，（b）通过扩展的VQ码本生成达成目标的轨迹，以及（c）生成潜在目标引导的内在奖励，以鼓励转换朝向采样的达成目标的路径。该方法通过StarCraft II和Google Research Football进行评估，包括密集和稀疏奖励设置。实证结果显示，与现有技术基线相比，进一步提高了性能。

本文旨在解决协作多智能体强化学习中路径规划问题的效率和准确性，提出了一种基于潜在目标引导的多智能体强化学习方法。

本文提出的LAtent Goal-guided Multi-Agent reinforcement learning (LAGMA)方法，通过生成潜在空间中的目标路径，并提供潜在目标引导的奖励机制，来鼓励智能体向目标路径转移。

本文的方法在StarCraft II和Google Research Football数据集上进行了实验，结果显示相比于现有的基线方法，本文的方法有更好的性能表现。此外，本文的方法在采样效率和可扩展性方面都有优势。

与本文相关的研究包括：Multi-Agent Reinforcement Learning (MARL)、Value-Decomposition Networks (VDNs)、Qmix、VQ-VAE等。