Can Large Language Models Serve as Rational Players in Game Theory? A Systematic Analysis

作为一种分析工具，博弈论经常被用于社会科学研究中分析人类行为。由于大型语言模型（LLMs）的行为与人类高度一致，一种有前途的研究方向是将LLMs作为人类在博弈实验中的替代品，从而促进社会科学研究。然而，尽管已经有大量关于LLMs和博弈论结合的实证研究，但LLMs在博弈论中的能力边界仍不清楚。在这项研究中，我们试图系统地分析LLMs在博弈论背景下的表现。具体而言，理性作为博弈论的基本原则，是评估玩家行为的指标——建立明确的愿望，从不确定性中提炼信念，并采取最优行动。因此，我们选择三个经典的博弈（独裁者博弈、石头剪刀布和环形网络博弈）来分析LLMs在这三个方面能够实现多大程度的理性。实验结果表明，即使是目前最先进的LLMs（GPT-4），在博弈论中与人类相比存在显著差异。例如，LLMs难以基于不常见的偏好建立愿望，无法从许多简单的模式中提炼信念，并且在采取行动时可能会忽视或修改提炼出的信念。因此，我们认为在社会科学领域引入LLMs进行博弈实验应该更加谨慎。

分析大型语言模型在博弈理论中的应用能力边界，以及与人类的差异。

使用三种经典博弈（独裁者博弈、石头剪刀布、环形网络博弈）作为案例，从愿望、信念和行动三个方面评估LLM的理性水平，发现LLM在建立愿望、从简单模式中提炼信念、以及采取行动时会忽视或修改已提炼的信念等方面与人类存在较大差异。因此，在社会科学领域中引入LLM进行博弈实验需要更加谨慎。

实验结果表明，即使是目前最先进的LLM（GPT-4），在博弈理论中与人类存在较大差异。研究使用了三种经典博弈作为案例，从愿望、信念和行动三个方面评估LLM的理性水平。

近期的相关研究包括使用LLM进行博弈理论研究的实证研究，以及探索LLM在社会科学中的应用的综述文章。