Equilibrium Selection for Multi-agent Reinforcement Learning: A Unified Framework

虽然多智能体强化学习（MARL）领域中有许多研究，但大多数都集中在设计算法和证明收敛到纳什均衡（NE）或其他均衡，如粗略相关均衡。然而，NE可能是非唯一的，它们的表现差异巨大。因此，设计能够收敛到具有更好奖励或社会福利的纳什均衡的算法非常重要。相比之下，经典的博弈论文献已经广泛研究了正则形式博弈中多智能体学习的均衡选择，证明了分散式学习算法可以渐近地收敛到潜在最大化或帕累托最优NE。这些见解激发了本文对MARL中均衡选择的研究。我们专注于随机博弈模型，利用正则形式博弈中的经典均衡选择结果，提出了一个统一的框架来解决随机博弈中的均衡选择问题。所提出的框架非常模块化，可以将各种学习规则及其对应的正则形式博弈中的均衡选择结果扩展到随机博弈中。

本文旨在解决多智能体强化学习中的均衡选择问题。作者试图提出一种框架，使得多智能体系统可以收敛到更优的Nash均衡或社会福利最大化的均衡。

本文提出了一种基于随机博弈模型的均衡选择框架，将经典博弈论中的均衡选择结果扩展到了多智能体强化学习中。该框架可以将各种学习规则和相应的均衡选择结果从正规式博弈扩展到随机博弈模型中。

本文的亮点在于提出了一种新的方法来解决多智能体强化学习中的均衡选择问题，使得多智能体系统可以收敛到更优的均衡。实验结果表明，该框架可以显著提高多智能体系统的性能。此外，该框架具有高度的模块化，可以轻松地将其扩展到不同的学习规则和均衡选择结果。本文还列举了一些相关的研究，包括多智能体强化学习和博弈论。

与本文相关的研究包括：《Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms》、《Convergence of Multi-Agent Learning to Potential Games》、《Decentralized Learning of Nash Equilibria in Multi-Agent Systems》等。