Encoder-Decoder Framework for Interactive Free Verses with Generation with Controllable High-Quality Rhyming

创作诗歌或歌词涉及多种创造性因素，但其中一个具有挑战性的方面是必须遵守更或多或少严格的韵律和押韵模式。为了特别解决这个挑战，先前的研究主要集中在反向语言建模上，这将每个押韵词的关键选择置于每个诗句的前沿。另一方面，反转单词顺序需要从头开始训练模型，具有任务特定目标，无法利用预训练语言模型（PLM）的迁移学习。我们提出了一种新颖的微调方法，将押韵词放在每个歌词的开头，这使得关键的押韵决策可以在模型承诺歌词内容之前进行（就像在反向语言建模期间一样），但仍然与常规PLM的单词顺序兼容，因为歌词本身仍然是按从左到右的顺序生成的。我们进行了广泛的实验，将这种微调方法与当前最先进的押韵策略进行比较，发现我们的方法生成的文本更易读，押韵能力更好。此外，我们提供了一个高质量的英语和其他12种语言的数据集，分析了这种方法在多语言环境中的可行性，提供了广泛的实验结果，阐明了歌词生成的良好和不良实践，并提出了比较方法的度量标准。

本论文的问题是如何在生成诗歌或歌词时同时满足格律和押韵的要求。论文提出了一种新的fine-tuning方法来解决这个问题。

论文的关键思路是在每个歌词的开头添加一个押韵的词，以便在生成歌词内容之前就能做出关键的押韵决策。这种方法比当前领域内的策略更有效，可以生成更易读的文本和更好的押韵能力。

论文提供了高质量的英文和12种其他语言的数据集，并分析了在多语言环境下使用该方法的可行性。实验结果表明，该方法比当前领域内的策略更有效。此外，论文提出了一些度量标准来比较不同的方法。

在最近的相关研究中，一些论文探讨了利用预训练语言模型来生成诗歌或歌词的方法，但大多数方法都没有解决格律和押韵的问题。