近年来，预训练的语言模型，如 BERT 和 GPT-3，在自然语言处理 (NLP) 中得到了广泛应用。通过对大量文本进行训练，语言模型获得了关于世界的广泛知识，在各种 NLP 基准测试中取得了强劲的表现。
 
然而，这些模型通常是不透明的，不清楚这些模型为何表现如此出色，这就限制了对这些模型进行进一步由假设驱动的改进。要搞清楚这个问题，首先要确定这些模型中包含哪些语言知识。
 
分析这个问题的基础主题是英语中的主谓一致语法规则，要求动词的语法与主语的语法一致。
例如，句子“「The dogs run」符合语法，因为“dogs”和“run”都是复数形式，但「The dogs runs就不合语法，因为「runs」是动词的单数形式，而主语dogs是复数形式。
 
目标句法评估 (TSE)是评估语言模型的语言知识的一种框架。该框架会向语言模型显示差异最小的句子对，一个合乎语法的，一个不合语法的，模型必须确定哪一个句子合乎语法。
 
这样，TSE可用于测试英语主谓一致规则的知识。
论文链接：https://arxiv.org/pdf/2109.07020.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除