标题：复旦、微软、南理工|DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation（DialogVED：一种预训练的对话响应生成潜在变量编解码模型）

作者：Wei Chen, Yeyun Gong, Nan Duan等

简介：本文介绍了一种对话预训练模型。开放域中的对话响应生成是一个重要的研究课题，其主要挑战是生成相关且多样化的响应。在本文中，作者提出了一种名为 DialogVED 的新对话预训练框架，它将连续潜在变量引入增强的编码器-解码器预训练框架中，以增加响应的相关性和多样性。在大型对话语料库 (Reddit) 的帮助下，作者使用以下 4 个任务对模型进行预训练，用于训练语言模型 (LM) 和变分自动编码器 (VAE) 文献： 1) 掩码语言模型； 2) 响应生成； 3）词袋预测； 4）KL散度减少。作者还添加了额外的参数来对转弯结构进行建模，以提高预训练模型的性能。作者在 PersonaChat、DailyDialog 和 DSTC7-AVSD 基准上进行实验以生成响应。实验结果表明，作者的模型在所有这些数据集上实现了新的最先进的结果。

论文下载：https://arxiv.org/pdf/2204.13031v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除