近年来，随着预训练模型的发展，对话领域的研究也逐渐开始关注基于预训练的端到端对话系统，2019-2021 这三年的时间涌现出很多关于开放域对话系统预训练的相关研究，基于英文的包括 google 在 2020 年 1 月发表的 Meena、Facebook 在 4 月发表的 Blender，基于中文的主要以百度 PLATO 系列模型为代表 [1]。这些模型的成功一定程度上表明海量数据和更大的模型能为对话系统带来很好的性能收益。

然而，这种依靠参数量、数据量来提升系统性能的方式对于任务型对话而言并不完全适用。一方面，任务型对话数据集本身比闲聊型对话更难收集，想要获取一个非常大的数据集来对任务型对话系统进行预训练是非常困难的；另一方面，预训练模型参数过大，训练和运行需要很高的计算成本，会存在无法快速部署的问题。由于以上问题的存在，任务型对话预训练的发展速度明显不如开放域对话，但最近两年也逐渐有一些针对任务型对话进行预训练的相关工作，本文将对这些工作做一个梳理总结，供大家参考。

本文主要介绍的工作有：
  • 2020EMNLP：TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [2]

  • 2021TACL：Soloist: Building task bots at scale with transfer learning and machine teaching [3]

  • 2021arXiv：PPTOD：Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System（PPTOD）[4]

  • 2022AAAI：GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised[5] Learning and Explicit Policy Injection

内容中包含的图片若涉及版权问题，请及时与我们联系删除