The GPT-WritingPrompts Dataset: A Comparative Analysis of Character Portrayal in Short Stories

大型语言模型的改进生成能力使它们成为创意写作和故事创作的强大工具。因此，量化地了解生成故事的性质以及它们与人类故事的不同之处非常重要。我们使用相同的提示给GPT-3.5生成的短篇小说扩充了Reddit WritingPrompts数据集。我们沿着六个方面量化和比较了人类和机器生成的故事的情感和描述特征。我们发现生成的故事在所有六个方面都与人类故事有显著差异，并且当根据主角的叙述视角和性别分组时，人类和机器生成展现出类似的偏见。我们在https://github.com/KristinHuangg/gpt-writing-prompts发布了我们的数据集和代码。

比较人工智能生成的故事和人类创作的故事在情感和描写特征上的差异，探究生成故事的偏见是否与人类故事创作存在相似之处。

使用GPT-3.5生成器生成故事，并将其与Reddit WritingPrompts数据集中相同的提示下人类创作的故事进行比较，通过六个维度量化和比较两种生成过程的情感和描写特征。发现生成故事在六个维度上与人类故事存在显著差异，并且当根据故事叙述者的视角和主角的性别分组时，人工智能生成的故事和人类创作的故事显示出类似的偏见。

论文提供了一个新的方法来比较人工智能生成的故事和人类创作的故事。研究发现生成故事在情感和描写特征上与人类故事存在显著差异，这表明目前的生成器还需要改进。此外，研究还发现当根据故事叙述者的视角和主角的性别分组时，人工智能生成的故事和人类创作的故事显示出类似的偏见，这需要引起我们的关注。该论文提供了数据集和代码，方便其他研究者开展相关研究。

最近在这个领域中，还有一些相关的研究被进行。例如，一些研究集中在如何提高生成故事的情感表达能力，如《Affective Language in Story Generation: An Overview》。还有一些研究探讨如何在生成故事中避免偏见，如《Mitigating Gender Bias in Natural Language Processing: Literature Review》。