【论文标题】Generalized Conditioned Dialogue Generation Based on Pre-trained Language Model 【作者团队】Yan Zeng, Jian-Yun Nie 【发表时间】2020/10/21 【论文链接】https://arxiv.org/abs/2010.11140

【推荐理由】 本文来自蒙特利尔大学聂建云教授团队，该论文提出了一种用标记的非对话文本数据来补充标记的对话数据，并基于它们来微调BERT的方法，以解决有条件对话生成中缺乏带有条件标记的大量对话数据的问题。 本文研究了条件对话的一般问题，其中条件标签用作输入，以指定目标响应的类型，例如角色。有条件对话生成的主要挑战是缺乏带有条件标记的大量对话数据。因此，本文提出用标记的非对话文本数据来补充标记的对话数据，并基于它们来微调BERT。本文的微调方法通过不同的输入表示形式和自注意掩码将BERT用于编码器和解码器，以便区分源侧和目标侧。在目标（生成）方面，本文使用一种新的注意路由机制来选择在每个位置生成通用词还是与条件相关的词。 本文的模型被实例化为与角色和主题相关的对话。 两种情况下的实验结果均表明，本文的方法比最新的基线能够产生更好的响应。

内容中包含的图片若涉及版权问题，请及时与我们联系删除