PHAnToM: Personality Has An Effect on Theory-of-Mind Reasoning in Large Language Models

最近大型语言模型的进展表明，它们在自然语言处理的许多任务中的能力与甚至超过人类。尽管取得了这样的进展，但是在社会认知推理方面，LLMs仍然不足，而这是人类天生擅长的。本研究从心理学研究中关于某些人格特质和心灵理论推理之间的联系，以及从提示工程研究中关于提示对LLMs能力影响的超敏感性中获得启发，研究了使用提示诱导LLMs的人格特质如何影响它们的心灵理论推理能力。我们的研究发现，某些诱导的人格特质可以显著影响LLMs在三个不同的心灵理论任务中的推理能力。特别是，黑暗三角中的特质对像GPT-3.5，Llama 2和Mistral这样的LLMs具有更大的可变效应。我们发现，在心灵理论提示中，表现出更高的人格提示方差的LLMs也更容易受到控制：GPT-3.5、Llama 2和Mistral等LLMs的人格特质可以通过我们的人格提示进行可控调整。在当今使用LLMs时，角色扮演是一种常见策略，我们的研究强调了需要谨慎，因为采用特定人格特质的模型可能会以意想不到的方式改变它们的推理能力。

本文试图通过使用不同的个性化提示来影响大型语言模型（LLMs）的社会认知推理能力，以验证个性对LLMs推理能力的影响，并探索LLMs的可控性。

本文的关键思路是使用个性化提示来影响LLMs的推理能力，并发现某些个性特征对推理能力的影响更大。同时，本文还发现LLMs在不同的ToM任务中表现出更高的个性化提示变异性，这意味着LLMs的个性特征可以通过个性化提示进行可控调整。

本文的实验结果表明，使用特定的个性化提示可以显著影响LLMs在三个不同ToM任务中的推理能力；同时，本文还发现Dark Triad中的个性特征对LLMs的影响更大。本文使用了GPT-3.5、Llama 2和Mistral等LLMs，并提供了开源代码。

最近的相关研究包括使用LLMs进行社会认知推理、使用个性化提示来影响LLMs的生成能力等。其中，与本文最相关的研究包括《The GEM Benchmark: Natural Language Generation, its Evaluation and Metrics》、《The Effect of Personality on Language Models》等。