Evidence of a log scaling law for political persuasion with large language models

大型语言模型现在可以生成与人类写作一样有说服力的政治信息，这引发了人们对这种说服力会随着模型大小的增加而持续增强的担忧。在这项研究中，我们使用24个跨越数个数量级的语言模型生成了720个关于10个美国政治问题的有说服力的信息。然后，我们在一项大规模随机化调查实验中使用这些信息（N = 25,982）来评估每个模型的说服能力。我们的发现有两个。首先，我们发现存在对数缩放定律：模型的说服力特征是急剧递减的，因此，当前的前沿模型几乎与比其小一个数量级或更小的模型一样有说服力。其次，仅仅完成任务（连贯性、话题相关性）似乎可以解释更大模型的说服优势。这些发现表明，进一步扩大模型规模不会显著增加静态LLM生成信息的说服力。

研究人工智能语言模型生成的政治信息的说服力是否会随着模型规模的增加而继续增强？

通过生成720条有关10个美国政治议题的说服性信息，并进行大规模随机调查实验，发现当前的最先进模型的说服力与比它小一个数量级的模型相差不大，并且大模型的说服优势主要来自于完成任务的能力。

论文使用了24个不同规模的语言模型，实现了大规模随机调查实验，并发现了一个对数缩放规律。此外，论文还指出，大模型的说服优势主要来自于完成任务的能力，而不是模型规模本身。

最近的相关研究包括：《GPT-3模型的能力和限制》、《语言模型的规模与性能》等。