来自今天的爱可可AI前沿推介

[CL] Is GPT-3 a Psychopath? Evaluating Large Language Models from a Psychological Perspective

X Li, Y Li, L Liu, L Bing, S Joty
[Alibaba Group & NTU]

从心理学角度评估大型语言模型

要点:

  1. 像GPT-3这样的大型语言模型(LLM)在Short Dark Triad人格测试中的得分比人类平均值更高，表明它们的性格相对较为负面；
  2. 使用安全度量标准微调的LLM(如InstructGPT和FLAN-T5)并不一定有更积极的性格，在Machiavellianism和Narcissism方面的得分可能比GPT-3更高；
  3. GPT-3族经过更多指令微调的LLM在幸福感测试中得分较高；
  4. 用Big Five Inventory中正面的问答对微调LLM(如FLAN-T5)可有效改善其性格，使其在Short Dark Triad测试中的得分更高。

一句话总结：大型语言模型可能具有负面的性格，应当从心理学角度系统地评估和改进其安全性，而不仅仅是在句子层面上。

论文链接：https://arxiv.org/abs/2212.10529


图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除