预习-上课-复习：让机器像人一样学习对话

本文设计了“预习-上课-复习”三阶段对话状态跟踪（DST） 训练方案，充分地利用好对话 schema 中已经存在的槽值关联的结构（即 schema structure）和对话数据中存在的难易数据分布的结构（即 curriculum structure），提出了 Schema-aware Curriculum Learning for Dialog State Tracking (SaCLog) 通用的 DST 优化框架。

基于“预习-上课-复习”的对话状态追踪

具体来说，在预习阶段时，人一般会先了解重点概念、章节结构等信息，因此我们对应地设计了带有结构偏置的预训练目标，让模型学会对话数据中的槽值关联信息；在上课阶段时，人会从简单内容开始学习再逐步进阶到困难部分，因此我们使用了课程学习 [1] 的方法来训练对话模型；而在复习阶段时，人们通常是温故知新举一反三，因此我们专门设计了基于对话本体的数据增强方法，针对易错样例对模型进行加强训练。通过这样的优化框架，我们最终在多轮对话数据集 MultiWOZ2.1 和 WOZ2.0 上都取得了目前最好结果，相关工作被 ACL 2021 以 4-4-4 高分接收。