用文本指导文本:基于文本的自监督可控文本生成模型

过去的几年学界对可控文本生成(CTG)的研究逐渐开始增多,已经在情感控制、主题控制、写作风格控制等方面取得了较为突出的成就。

比如给定的控制变量是情感中的“积极”,给定的输入句子是“这个电影真难看”,那么模型就会生成满足变量的、在语义上和源句子保持一致的目标句子“这个电影真好看”。

和传统的语言模型相比,CTG显然有更好的应用场景:在小说创作中,可以给定人物、场景的一些变量然后让模型生成符合条件的文本,而不是凭空想象凭空捏造出一些剧情。

一个CTG模型可以看作是一个标准的Seq2seq模型,编码器编码源句子,解码器接受编码特征和给定条件,生成对应句子。

但现存的一大问题就在于“给定的条件”——当前的大多数模型研究的是一些简单的变量,比如从积极到消极情感控制,从科学到政治的主题控制,从书面语到口语的表述控制,这在实际应用中是非常受限的。

论文标题:CoCon: A Self-Supervised Approach for Controlled Text Generation 论文链接:https://arxiv.org/abs/2006.03535

研究 自然语言处理
评论0

可用Markdown格式