Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning

尽管多智能体强化学习（MARL）算法最近取得了成功，但在混合动机环境中高效适应合作玩家仍然是一个重大挑战。一种可行的方法是基于推断他们的特征来分层建模合作玩家的行为。然而，这些方法通常在有效推理和利用推断信息方面遇到困难。为了解决这些问题，我们提出了分层对手建模和规划（HOP），这是一种新的多智能体决策算法，可以在混合动机环境中进行少量样本适应未见过的策略。HOP由两个模块分层组成：一个对手建模模块，推断其他人的目标并学习相应的目标条件策略，以及一个规划模块，使用蒙特卡罗树搜索（MCTS）来确定最佳响应。我们的方法通过跨和内部更新关于其他人目标的信念，并使用对手建模模块的信息来指导规划，提高了效率。实验结果表明，在混合动机环境中，HOP在与各种未见过的代理互动时表现出优越的少量样本适应能力，并在自我对弈场景中表现出色。此外，我们实验中社交智能的出现，凸显了我们的方法在复杂的多智能体环境中的潜力。

论文旨在解决多智能体强化学习中的合作问题，提出了一种基于对手建模和规划的决策算法。

HOP算法由对手建模模块和规划模块组成，能够在混合动机环境中快速适应未知策略，提高了对其他智能体目标的推理效率。

论文实验证明，HOP算法在与各种未知智能体交互时表现出优异的快速适应能力，并在自我对弈场景中表现出色。此外，实验还展示了社会智能的出现，为解决复杂多智能体环境提供了潜在的解决方案。

最近的相关研究包括《Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms》和《Deep Multi-Agent Reinforcement Learning: A Brief Survey》等。