SimpleToM: Exposing the Gap between Explicit ToM Inference and Implicit ToM Application in LLMs

先前的研究探讨了大型语言模型（LLMs）是否具备“心智理论”（ToM）——即能够将心理状态归因于自己和他人。然而，很少有研究测试LLMs是否能够隐含地运用这种知识来预测行为，或者判断观察到的行为是否合理。这些技能对于在社交环境中适当互动至关重要。我们创建了一个新的数据集SimpleTom，包含简洁多样的故事（例如，“这罐品客薯片里有发霉的薯片。玛丽在超市拿起这罐薯片，走向收银台。”），每个故事配有三个问题，测试不同程度的心智理论推理能力，要求模型预测（a）心理状态（“玛丽是否意识到发霉？”）、（b）行为（“玛丽会为薯片付款还是会报告发霉的问题？”）以及（c）判断（“玛丽为薯片付了款。这样做合理吗？”）。据我们所知，SimpleTom是第一个系统地探索在现实场景中需要心智状态知识的下游推理的数据集。我们的实验结果令人深思：尽管大多数模型在我们的数据集上可以可靠地预测心理状态（a），但它们经常无法正确预测行为（b），并且在判断给定行为是否合理（c）方面表现更差，尽管正确意识到主人公的心理状态应该使这些次级预测显而易见。我们进一步表明，通过干预措施，如提醒模型其早期的心理状态答案和特定于心理状态的链式思维提示，可以帮助模型在（b）和（c）方面表现得更好，提高行动预测准确性（例如，GPT-4从49.5%提高到93.5%）和判断准确性（例如，GPT-4从15.3%提高到94.7%）。虽然这表明可以通过特定任务的干预使模型表现良好，但自然模型性能仍然较低，这对LLM的部署是一个警示。

论文试图探讨大型语言模型（LLMs）是否能够隐式地应用理论心智（ToM）知识来预测行为或判断观察到的行为是否合理。这是一个相对较新的问题，因为之前的大多数研究主要集中在LLMs是否具备ToM能力上，而较少关注其在实际场景中的应用。

论文的关键思路是通过创建一个新的数据集SimpleTom，该数据集包含简短多样的故事，并针对每个故事提出三个问题，分别测试模型对心理状态的预测、行为预测和合理性判断的能力。这种方法不仅评估了LLMs的基本ToM能力，还进一步考察了这些能力在更复杂任务中的应用。相比现有研究，这篇论文的新颖之处在于系统性地探索了ToM在下游推理中的作用。

论文设计了一个新颖的数据集SimpleTom，包含多个简短的故事和三个层次的问题，用于全面评估LLMs的ToM能力。实验结果显示，尽管大多数模型能够准确预测心理状态，但在行为预测和合理性判断方面表现较差。此外，通过特定干预措施（如提醒模型先前的心理状态答案和使用链式思维提示），可以显著提高模型在这两个任务上的性能。这些发现为LLMs的实际应用提供了重要的参考。论文没有提及是否有开源代码，但强调了未来研究的方向，包括如何减少对特定干预的依赖。

最近在这个领域中，相关研究包括： 1. "Evaluating Large Language Models on Commonsense Reasoning Tasks" - 探讨了LLMs在常识推理任务中的表现。 2. "Probing the Limits of Theory of Mind in Large Language Models" - 深入分析了LLMs在ToM任务中的局限性。 3. "Emergent Theory of Mind in Neural Networks" - 研究了神经网络中ToM能力的涌现现象。 4. "Improving Social Interaction in AI through Theory of Mind" - 讨论了如何通过ToM改进AI的社会互动能力。