论文分享｜基于知识的对话系统

传统的对话系统大多是一个端到端系统，将历史对话和人类的问题作为输入，从而输出回复。但是，这种方法的一个弊端是：只考虑了历史对话，而没有考虑到话题本身，即：话题的知识。为了将话题本身的知识加入到对话系统中，研究者提出了基于知识的对话系统（Knowledge-Grounded Dialogue System）。在基于知识的对话系统中，可以基于对话语境和外部知识来源，生成信息丰富且有意义的回答。本文将详细介绍三篇与基于知识的对话系统相关的文章。

• Knowledge-Grounded Dialogue Generation with Pre-trained Language Models

论文地址：https://aclanthology.org/2020.emnlp-main.272.pdf

作者基于预训练语言模型研究了基于知识的对话生成。为了利用外部知识，作者在预训练语言模型的基础上添加了一个知识选择模块，并使用一种无监督方法来联合优化无知识标签的知识选择模块和与响应生成模块。作者在两个基准下进行了实验，结果表明作者提出的模型在自动评估和人工判断方面都可以达到了最先进的水平。

• Augmenting Knowledge-grounded Conversations with Sequential Knowledge Transition

论文地址：https://aclanthology.org/2021.naacl-main.446.pdf

在以知识为基础的对话中，目前的模型仍然缺乏对知识选择和与对话的整合的细粒度控制，从而导致了生成与知识无关的响应。为了解决这些问题，作者提出通过将知识抽象到主题标签中来显式地建模连续多轮对话中的知识转换。此外，为了在生成过程中充分利用选定的知识，作者提出预训练一个知识感知响应生成器，以更加关注选定的知识。以知识为基础的结构化以及非结构化对话基准上的实验结果表明作者提出的模型比基线模型具有更好的性能。

• Multi-Stage Prompting for Knowledgeable Dialogue Generation

论文地址：https://arxiv.org/abs/2203.08745

现有的基于知识的对话系统通常基于大规模知识库在预训练语言模型上进行微调。这些模型通常无法概括知识库之外的主题，并且每次需要微调时都需要更新模型参数并进行储存。本文旨在通过利用存储在预训练语言模型中的固有知识及其强大的生成能力来解决这些限制。文本提出了一种多阶段提示方法，以从单个预训练的语言模型中生成富有知识的响应。大量的实验结果表明所提出模型的有效性。