笔者最近阅读了一些对话系统预训练相关的文章，其所采用的模型大致可以分为两类：生成式（GPT 系）和判别式（BERT 系、ConveRT 系）。其中判别式模型大多可以用于检索式对话系统的构建，本文主要对三篇检索式对话系统预训练的文章进行了梳理，从 pretrain（general-domain）+ fine-tune（target domain）模式的提出，到更轻量级的模型 ConveRT，再到检索式对话系统的真实场景应用。

内容中包含的图片若涉及版权问题，请及时与我们联系删除