Werewolf Arena: A Case Study in LLM Evaluation via Social Deduction

本文介绍了“狼人竞技场”，这是一个新颖的框架，通过经典社交推理游戏“狼人杀”的视角来评估大型语言模型（LLMs）。在“狼人竞技场”中，LLMs互相竞争，驾驭游戏中复杂的欺骗、推理和说服动态。该框架引入了一个基于竞价的动态轮流发言系统，反映了现实世界中个体策略性选择何时发言的情况。我们通过一个竞技场式的比赛展示了该框架的实用性，比赛中使用了Gemini和GPT模型。我们的结果揭示了模型在战略推理和沟通方面的不同优势和劣势。这些发现突显了“狼人竞技场”作为一个具有挑战性和可扩展性的LLM基准的潜力。

本论文旨在通过Werewolf游戏的框架来评估大型语言模型，并揭示其在策略推理和沟通方面的优势和劣势。

Werewolf Arena是一个新颖的框架，通过竞争式的Werewolf游戏来评估大型语言模型的能力。该框架引入了基于竞标的动态轮流发言系统，模拟了现实世界中人们如何进行战略性选择。

论文通过Gemini和GPT模型的竞技赛展示了Werewolf Arena的实用性，并揭示了模型在策略推理和沟通方面的不同优势和劣势。值得注意的是，本论文提出的框架具有挑战性和可扩展性，可以作为大型语言模型评估的一个新的基准。

在这个领域中，最近的相关研究包括使用不同的基准数据集和任务来评估大型语言模型的能力，以及研究如何提高大型语言模型的效率和准确性。例如，最近的研究包括《GPT-3：语言模型的新里程碑》和《BERT：预训练转换器的深入研究》等。