【VCLA@UCLA 朱松纯教授团队】注入结构化注意力层的无监督对话结构学习

【论文标题】Structured Attention for Unsupervised Dialogue Structure Induction 【作者团队】Liang Qiu, Yizhou Zhao, Weiyan Shi, Yuan Liang, Feng Shi, Tao Yuan, Zhou Yu, Song-Chun Zhu 【发表时间】9月17日 【论文链接】https://arxiv.org/abs/2009.08552 【论文代码】https://github.com/Liang-Qiu/SVRNN-dialogues 【推荐理由】本文已经被EMNLP 2020 接收。该论文提出将结构化注意力层添加到具有离散隐状态的变分递归神经网络（VRNN）模型中，以无监督的方式学习对话结构。

从一个或一组对话中归纳出有意义的结构表示，是计算语言学中一个关键并且具有挑战性的任务。这一领域取得的进展对于对话系统设计和话语分析至关重要，甚至可以被扩展到用来解决语法推断问题。本文提出将结构化注意力层添加到具有离散隐状态的变分递归神经网络（VRNN）模型中，以无监督的方式学习对话结构。 与传统VRNN相比，结构化注意力使模型可以集中于源句子嵌入的不同部分，同时强制执行结构性归纳偏差。作者探索了两种不同的结构归纳偏差：（1）两方对话中话语级别的语义结构归纳：线性CRF；（2）用于在多方对话中进行交互式结构学习：非投影依赖树。 实验表明，这两种模型都比现有算法具有更好的结构学习性能。在两方对话数据集上，具有结构化注意力的VRNN可以学习到与生成该对话语料库所用模板相似的语义结构。而在多方对话数据集上，本文提出的模型学习了一种交互式结构，表明其具有区分说话者以及在在没有明确的人工标注的情况下可自动拆分对话的能力。

上图展示的是文章中提出的融合了结构化注意力层的变分递归神经网络模型（SVRNN）结构图。