Large Language Models Assume People are More Rational than We Really are

为了使人工智能系统能够有效地与人类交流，它们必须了解我们做出决策的方式。然而，人类的决策并不总是理性的，因此大型语言模型（LLMs）中的隐含内部人类决策模型必须考虑这一点。先前的实证证据似乎表明，这些隐含模型是准确的——LLMs提供了人类行为的可信代理，以我们在日常互动中预期人类会表现的方式行动。然而，通过将LLM的行为和预测与大量人类决策的数据集进行比较，我们发现事实并非如此：在模拟和预测人们的选择时，一系列尖端LLM（GPT-4o和4-Turbo、Llama-3-8B和70B、Claude 3 Opus）假设人们比我们实际上更理性。具体而言，这些模型偏离了人类行为，并更加接近于经典的理性选择模型——期望值理论。有趣的是，人们在解释他人行为时也倾向于假设他人是理性的。因此，当我们使用另一个心理数据集比较LLMs和人类从他人决策中得出的推论时，我们发现这些推论高度相关。因此，LLMs的隐含决策模型似乎与人类期望其他人会理性行事的期望相一致，而不是与人类实际行为相一致。

研究LLMs的内在决策模型是否准确反映人类决策行为，发现LLMs更倾向于假设人类决策更理性，与实际情况不符。

通过比较LLMs和人类决策的数据集，发现LLMs的决策模型更倾向于经典的期望值理论，而非实际的人类决策行为，这与人类对他人行为的理解相一致。

实验使用了多个LLMs模型和大量数据集，发现LLMs更倾向于假设人类决策更理性，这与人类对他人行为的理解相一致。此外，这个发现也提醒我们在使用LLMs时需要考虑人类的非理性决策行为。

相关研究包括近期的LLMs模型的改进和优化，以及对人类决策行为的深入研究，如《Thinking, Fast and Slow》等。