“人类的本质是复读机”，“重要的事情说三遍！！！”，这些年我们总能听到这样的梗，可是在日常交流中，真的有人会像复读机一样反复说同一句话吗？答案显然是否定的，很少有人会将自己想表达的相同意思反复用同一句话陈述，甚至还有言论称这不属于正常现象。

图片

然而，这种问题却普遍存在于许多大规模预训练语言模型的生成结果中，例如 GPT2 和 BART 虽然在各种文本生成任务上取得了有代表性的结果，但它们往往会因为基于最大化的解码算法（例如贪心搜索）而陷入这种笨笨的句子级循环中，在此背景下，清华叉院近期的一篇论文引起了小编的注意。

他们的工作系统性地研究了大规模预训练语言模型（例如GPT)为什么会在贪心解码时倾向生成重复句子的问题，并通过定量研究回答了以下提问：

  • 为什么会发生句子级的重复？
  • 为什么模型会陷入重复循环？
  • 什么样的句子更容易被重复？

本文的作者通过分析指出，自我强化效应（Self-Reinforcement Effect）是导致重复的核心问题。随后进一步提出了一种简单的方法 DITTO，以在训练阶段纠正模型分布的方法来解决重复问题。实验证明在各种生成解码算法 [greedy, top-p, top-k] 以及生成式摘要任务上都有着显著提高。

该文章已被 NeurIPS 2022 录用，对应的代码随后也将开源。

论文题目:
Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation

论文链接:
https://arxiv.org/pdf/2206.02369.pdf

 

阅读详情

内容中包含的图片若涉及版权问题，请及时与我们联系删除