Quantifying the Persona Effect in LLM Simulations

大型语言模型（LLMs）在模拟人类语言使用和行为方面显示出了显著的潜力。在这项研究中，我们深入探讨了人物变量和LLMs模拟不同视角的交叉点。我们发现，人物变量可以解释现有主观NLP数据集中不到10％的方差。尽管如此，通过提示将它们纳入LLMs中会略微改善模型表现。人物提示对于在标注者之间存在争议但范围有限的数据样本最有效。存在线性相关性：人物变量影响人类标注的程度越大，使用人物提示的LLMs预测效果越好。然而，当人物变量的效用较低（即解释人类标注的<10％）时，人物提示的效果很小。大多数主观NLP数据集都属于这一类别，这使得在当前的NLP领域中模拟不同的视角存在疑虑。

探究在大语言模型中加入个人特征是否能够模拟不同视角的效果，以及这种方法的适用性。

研究发现，尽管个人特征可以解释现有NLP数据集中少于10％的差异，但在大语言模型中加入个人特征的提示仍然可以略微提高模型的性能。

研究使用了多个数据集，并进行了实验来测试个人特征提示对模型性能的影响。结果表明，当个人特征影响人类注释的程度越大时，使用个人特征提示的LLMs的预测结果越好。

最近的相关研究包括“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”和“Language Models are Few-Shot Learners”。