Language Agents with Reinforcement Learning for Strategic Play in the Werewolf Game

最近，使用大型语言模型（LLMs）构建的代理取得了巨大的进展。然而，大多数工作集中在单一代理或合作设置上，对更一般的多代理环境尚未充分探索。我们提出了一个新的框架，基于强化学习（RL）开发战略语言代理，即具有战略思维能力的基于LLMs的代理，用于一种流行的语言游戏“狼人杀”。狼人杀是一种社交推理游戏，涉及合作和竞争，并强调欺骗性沟通和多样化的游戏玩法。我们的代理通过首先使用LLMs推断潜在的欺骗行为并生成一组具有战略多样性的动作来处理这个游戏。然后，通过基于人口的训练学习RL策略，从候选动作中选择一个动作来增强代理的决策能力。通过将LLMs与RL策略相结合，我们的代理产生了各种不同的紧急策略，在与其他基于LLMs的代理中取得了最高的胜率，并在狼人杀游戏中对抗敌对的人类玩家时保持稳健。

本论文旨在开发具有战略思维能力的基于LLMs的代理人，以应对多人语言游戏Werewolf中的挑战，包括欺骗性的沟通和多样化的游戏玩法。

该论文提出了一种新的框架，将强化学习（RL）与LLMs相结合，开发出具有战略思维能力的语言代理人，通过生成多种策略来解决Werewolf游戏中的问题。

该论文的亮点包括使用LLMs推理潜在的欺骗行为和生成多样化的行动，使用RL策略学习增强代理人的决策能力，实现了最高胜率，并且在面对人类玩家时保持了稳健性。

最近的相关研究包括使用RL解决多智能体环境中的合作问题和对抗问题，例如DeepMind的AlphaStar和OpenAI的OpenAI Five。