【论文标题】Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues 【作者团队】Ruijian Xu, Chongyang Tao, Daxin Jiang, Xueliang Zhao, Dongyan Zhao, Rui Yan 【发表时间】2020/9/14 【论文链接】https://arxiv.org/abs/2009.06265

【推荐理由】 本文来自北京大学严睿教授团队，该论文提出了一种新的基于上下文的匹配模型，该模型在预训练语言模型的基础上，为对话回复检索任务设计了辅助的自监督任务，通过多任务学习达到了SOTA的效果。 建立能够根据多轮上下文选择适当回复的智能对话系统是一项艰巨的任务。现有研究着重于构建具有各种神经网络结构或PLM的上下文回复匹配模型，并通常通过单个回复预测任务进行训练。这些方法忽略了对话数据中包含的许多潜在训练信号，这些信号可能有助于上下文理解并为回复预测提供更好的性能。此外，以常规方式监督的现有对话系统中的回复仍然面临一些严峻的挑战，包括回复不连贯和回复与上下文不一致。 为了解决这些问题，在本文中，作者提出了一种新的基于上下文的匹配模型，该模型在预训练语言模型的基础上，为对话回复检索任务设计了辅助的自监督任务。具体来说，作者介绍了四个自监督的任务，包括下一会话的预测，对话恢复，不连贯检测和一致性歧视，并以多任务学习的方式与这些辅助任务一起训练基于PLM的回复选择模型。辅助任务可以指导匹配模型的学习，以实现更好的局部最优并选择更合适的回复。

图1：算法流程图

内容中包含的图片若涉及版权问题，请及时与我们联系删除