Sonnet or Not, Bot? Poetry Evaluation for Large Models and Datasets

大型语言模型（LLMs）现在可以生成和识别各种风格和类型的文本，包括高度专业化和创造性的诗歌等。但是，LLMs真正了解诗歌吗？它们能了解诗歌的什么？我们开发了一个任务，评估LLMs对英语语言中20多种形式和形式要素的诗歌形式的识别能力。诗歌形式涵盖许多不同的诗歌特征，包括韵律、节奏和单词或行的重复。我们使用这个任务来反思LLMs当前的诗歌能力，以及为诗歌和其他创造性任务创建自然语言处理基准的挑战和陷阱。特别是，我们使用这个任务来审计和反思流行的预训练数据集中包含的诗歌。我们的发现对于对模型评估感兴趣的NLP研究人员、数字人文和文化分析学者以及文化遗产专业人员具有重要意义。

评估大型语言模型（LLMs）对英语诗歌形式的识别能力，探讨创建NLP基准测试的挑战和问题。

通过开发任务来评估LLMs对20多种英语诗歌形式的识别能力，包括韵律、节奏和重复等要素，对LLMs的诗歌能力进行了审查和反思。

论文使用了自己开发的任务来评估LLMs的诗歌识别能力，并对流行的预训练数据集中包含的诗歌进行了审查。实验结果表明，LLMs在某些诗歌形式上表现出色，但在其他形式上表现不佳。论文还探讨了创建NLP基准测试的挑战和问题。

最近的相关研究包括：1.《使用深度学习生成诗歌：现状和展望》；2.《诗歌生成：技术和应用》；3.《使用神经网络生成诗歌的方法》等。