An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning

多智能体强化学习（MARL）近年来变得非常流行。许多方法已经被开发出来，但它们可以分为三种主要类型：集中式训练和执行（CTE），集中式训练用于去中心化执行（CTDE）和去中心化训练和执行（DTE）。 CTDE方法是最常见的，因为它们在训练期间可以使用集中式信息，但在执行期间以去中心化的方式执行 - 只使用该代理程序在执行期间可用的信息。 CTDE是唯一需要单独的训练阶段的范例，在此阶段可以使用任何可用信息（例如其他代理策略，底层状态）。因此，它们比CTE方法更具可扩展性，不需要在执行期间进行通信，并且通常表现良好。 CTDE最自然地适用于合作案例，但根据假定观察到的信息，也可以潜在地应用于竞争或混合设置。 本文介绍了合作MARL中的CTDE。它旨在解释设置、基本概念和常见方法。它并未涵盖CTDE MARL中的所有工作，因为该子领域非常广泛。我已经包括了我认为对理解子领域的主要概念很重要的工作，并为我省略的人道歉。

解决问题：论文介绍了多智能体强化学习（MARL）中的一种常见方法——集中式训练和分散式执行（CTDE），并探讨了其在合作场景中的应用。

关键思路：CTDE方法可以在训练时使用中心化信息，但在执行时以分散式方式运行，因此具有可扩展性，不需要执行期间的通信，并且通常表现良好。

其他亮点：论文介绍了CTDE方法的基本概念和常见方法，重点关注合作场景。实验使用了不同的数据集和算法进行验证，并对不同方法进行了比较。相关工作包括集中式训练和执行（CTE）和分散式训练和执行（DTE）方法。

相关研究：最近的相关研究包括“Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms”、“Multi-Agent Reinforcement Learning: A Survey”等。