Pron vs Prompt: Can Large Language Models already Challenge a World-Class Fiction Author at Creative Text Writing?

目前已经成为常规报告研究结果，其中大型语言模型（LLMs）在各种与语言相关的任务中胜过普通人，创意文本写作也不例外。因此，提出这个问题似乎很自然：LLMs是否已经准备好与顶尖（而不是普通）小说家竞争创意写作技能？为了初步回答这个问题，我们在类似于人工智能与人类对决的精神下，进行了帕特里西奥·普龙（一位获奖小说家，被认为是他那一代中最好的作家之一）和GPT-4（表现最佳的LLMs之一）之间的比赛。我们要求普龙和GPT-4各提供30个标题，然后为他们自己的标题和对手的标题写短篇小说。然后，我们准备了一个灵感来自于博登对创造力定义的评估标准，并收集了由文学评论家和学者提供的5400个手动评估。我们的实验结果表明，LLMs距离挑战顶尖人类创意作家还有很长的路要走，而且要达到这种水平的自主创意写作技能，可能仅仅通过更大的语言模型是无法实现的。

本论文试图回答一个问题：大型语言模型（LLMs）是否已经具备了与顶尖小说家相媲美的创意写作技能？

作者通过对比一位获奖小说家和GPT-4的创作，以及采用Boden的创造力定义来评估，得出结论：LLMs距离挑战顶尖人类创意写手还有很长的路要走，仅仅增加模型规模并不能达到这个目标。

实验采用了30个标题和短故事的写作比赛，并收集了5400个来自文学评论家和学者的评估。值得关注的是，本论文采用了Boden的创造力定义来评估创造性，这是一个相对较新的研究方向。此外，本论文的实验结果表明，LLMs在创意写作方面仍有很大的提升空间。

最近的相关研究包括：《GPT-3: Language Models are Few-Shot Learners》、《The Curious Case of Neural Text Degeneration》、《The GPT-2 1.5B Release》等。