近年来，预训练语言模型无疑成为了自然语言处理的研究热点。这些模型通过设计有效的预训练目标，在大规模语料上学习更好的语言表征来帮助自然语言的理解和生成。其中，BERT 采用的掩码语言模型 MLM 和 XLNet 采用的排列语言模型 PLM 是两种比较成功的预训练目标。然而，这两种训练目标各有优缺，具有较大的提升空间。为此，微软亚洲研究院机器学习组的研究员们，继去年面向自然语言生成任务推出预训练模型 MASS 之后，在自然语言理解任务上推出全新预训练模型 MPNet。它在 PLM 和 MLM 的基础上扬长避短，在自然语言理解任务 GLUE 和 SQuAD 中，超越 BERT、XLNet 和 RoBERTa 等预训练模型，取得了更好的性能。论文、代码和模型均已开放下载（见文末）。

内容中包含的图片若涉及版权问题，请及时与我们联系删除