【论文标题】A Theoretical Analysis of the Repetition Problem in Text Generation* 【作者团队】Zihao Fu, Wai Lam, Anthony Man-Cho So, Bei Shi 【发表时间】AAAI 2021 【论文链接】https://arxiv.org/pdf/2012.14660v1.pdf 【公开代码】https://github.com/fuzihaofzh/repetition-problem-nlg. 【推荐理由】本文基于马尔科夫随机过程提出一个新的理论框架，用于分析自然语言生成过程中出现重复的原因。并基于这套理论提出了新的解决重复问题的模型。 近年来，包括翻译、摘要、语言模型等在内的文本生成任务迅速增长。尽管取得了显著的成就，但重复问题在几乎所有的文本生成模型中都被观察到，广泛地破坏了生成性能。为了解决重复问题，人们提出了许多方法，但没有现成的理论分析来说明问题发生的原因和解决方法。本文针对重复问题提出了一个新的理论分析框架。作者首先定义平均重复概率(ARP)来定量地描述重复问题。然后，作者对马尔可夫生成模型进行了广泛的分析，得出了平均重复概率的几个上界，并有了直观的理解。论文表明，大多数现有的方法本质上都是显式或隐式地最小化上界。根据文中理论，作者发现，不幸的是，重复问题是由语言本身的特性引起的。一个主要的原因是，有太多的词预测同一词和下一个词的概率很高。因此，很容易回到那个词，形成重复，文中称之为高流入问题。此外，作者通过推导一般代模型平均重复概率的集中界，将文中的分析推广到更广泛的代模型。最后，在理论上界的基础上，作者提出了一种新的重新平衡编码方法来缓解高流入问题，从而减少上界。实验结果表明，作者的理论框架适用于一般的生成模型，作者所提出的再平衡编码方法显著地缓解了翻译任务和语言建模任务中的重复问题。

内容中包含的图片若涉及版权问题，请及时与我们联系删除