基于堆叠式注意力网络的复杂话语领域分类方法（梁超杰，黄沛杰，丁健德，朱建恺，林丕源）

话语领域分类（utterance domain classification, UDC）是口语理解（spoken language understanding, SLU）中语义分析的关键步骤。尽管带注意力机制的递归神经网络已经得到了广泛的应用，并将UDC的研究进展提高到了一个新的水平，但是对于复杂的话语，如长度较长的话语或带有逗号的复合句的话语，有效的UDC仍然是一个挑战。本文提出一种基于堆叠式注意力网络的话语领域分类方法SAN-DC（stacked attention networks-DC）。该模型综合了对口语话语多层次的语言特征的捕捉，增强对复杂话语的理解。首先在模型底层采用语境化词向量（contextualized word embedding）得到良好的词汇特征表达，并在词法层采用长短期记忆网络(long short-term memory )将话语编码为上下文向量表示。接着在语法级别上使用自注意力机制（self-attention mechanism）来捕捉特定领域的词依赖，然后使用词注意力（word-attention）层提取语义信息。最后使用残差连接（residual connection）将低层语言信息传递到高层，更好地实现多层语言信息的融合。本文在中文话语领域分类基准语料SMP-ECDT上验证所提出的方法。通过与研究进展的文本分类模型对比，本文的方法取得了较高的话语领域分类正确率。尤其是对于较为复杂的用户话语，本文提出的方法较研究进展方法的性能提升更为显著。