【论文标题】A DISTRIBUTIONAL APPROACH TO CONTROLLED TEXT GENERATION 【作者团队】Muhammad Khalifa, Hady Elsahar, Marc Dymetman 【发表时间】ICLR 2021 【论文链接】https://openreview.net/pdf?id=jWkw45-9AbL 【推荐理由】本文提提出一种新的可控的文本生成的框架，可以通过自适应技术分布式地控制语言生成，有效的提升了语言模型的收敛性。 论文提出了一种分布式方法来解决从预训练的语言模型（LM）生成受控文本的问题。根据作者的了解，这种观点允许在单个正式框架中定义目标LM的“逐点”约束和“分布”约束，这是第一种具有这种通用性的方法，同时可以将初始LM分布的KL差异最小化。然后，将最佳目标分布唯一确定为明确的EBM（基于能源的模型）表示。然后从该最佳表示中，通过策略梯度的自适应分布变量训练目标受控自回归LM。作者针对点约束进行了第一组实验，显示了文中的方法在一组基线上的优势，即获得了与初始LM（GPT2）不同的受控LM平衡约束满足。然后，作者在分布约束条件下进行了实验，这是论文中方法的一个独特功能，证明了其作为解决语言模型偏差问题的潜力。通过消融研究，文中证明了自适应技术对于获得更快收敛的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除