Evaluating Diversity in Automatic Poetry Generation

自然语言生成（NLG），以及更广泛的生成式人工智能，是当前最具影响力的研究领域之一。创造性的NLG，比如自动生成诗歌，是这个领域中一个迷人的小众领域。尽管先前的研究大多集中在图灵测试的形式上，即评估自动生成诗歌的过程中，人类是否能够区分自动生成的诗歌和人类生成的诗歌，但我们评估了自动生成诗歌的多样性，通过比较生成的诗歌与人类诗歌在结构、词汇、语义和风格维度上的分布，评估不同的模型类型（单词级别与字符级别，通用LLMs与专门用于诗歌的模型），包括最近的LLaMA3，以及fine-tuning的类型（有条件和无条件）。我们发现，目前的自动生成诗歌系统在多个维度上都缺乏多样性——它们往往不够押韵，语义上过于单一，甚至不符合人类诗歌的长度分布。然而，我们的实验表明，风格条件和字符级别建模明显增加了我们探索的几乎所有维度的多样性。我们确定的限制可能成为未来更加真正多样化的诗歌生成模型的基础。

本论文旨在评估自动诗歌生成系统的多样性，发现当前自动诗歌系统在韵律、语义和风格等多个方面都存在不足，试图为未来的诗歌生成模型提供改进方向。

论文通过比较自动生成的诗歌与人类生成的诗歌在结构、词汇、语义和风格等维度上的分布，评估不同模型类型（单词级别与字符级别、通用语言模型与诗歌专用模型）和微调类型（有条件与无条件）的效果，发现风格条件和字符级建模可以显著提高诗歌生成的多样性。

论文发现当前自动诗歌生成系统在韵律、语义和长度分布等方面存在不足，提出了风格条件和字符级建模可以改进多样性的解决方案。实验使用了多个数据集和模型类型，结果表明风格条件和字符级建模可以显著提高生成的诗歌的多样性。论文也提出了当前自动诗歌生成系统的局限性，为未来的研究提供了方向。

在这个领域中，最近的相关研究包括：1.《用于自然语言生成的深度学习模型的综述》（A Survey of Deep Learning Models for Natural Language Generation）；2.《基于深度学习的自动诗歌生成综述》（A Survey of Deep Learning Based Automatic Poetry Generation）。