作者：Zhiyuan Zeng, Deyi Xiong

简介：本文研究预训练语言模型中无监督句法分析领域。人们普遍认为经过预训练的语言模型能够对语法进行编码。在本文中，作者提出了一种无监督的成分分析模型（UPOA）：基于在预训练的语言模型中学习的自我注意权重矩阵来计算关联外得分，作为跨度分割的句法距离。作者进一步提出了一个增强版本UPIO，它利用内部关联和外部关联得分来估计跨度的可能性。UPOA和UPIO的实验表明，查询的线性投影矩阵和自我注意机制中的键在解析中起着重要作用。因此，作者将无监督模型扩展到小样本解析模型（FPOA，FPIO），这些模型使用部分带注释的树来学习更优的线性投影矩阵进行解析。在Penn Treebank上的实验表明，作者的无监督句法分析模型UPIO在短句（长度<=10）方面取得了与最新水平相当的结果。作者的小样本解析模型FPIO仅使用20棵带注释的树进行训练，其性能优于之前使用50棵带注释的树进行训练的小样本解析方法。跨语言分析实验表明：在SPMRL的大多数语言上，无监督和小样本分析方法都优于以前的方法。

 

论文下载：https://arxiv.org/pdf/2206.04980.pdf

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除