近年来，以 BERT 和 GPT 系列为代表的大规模预训练语言模型（Pre-trained Language Model, PLM）在 NLP 的各个领域取得了巨大成功。本文整理了自 BERT 和 GPT 诞生以来与 PLM 相关的论文，根据引用数筛选出其中一些具有代表性的工作和 2021 年在各大顶会（ACL、EMNLP、ICLR、ICML、NeurIPS 等）发表的工作，共计 285 篇，按照综述、基准数据集、PLM 的设计、PLM 的分析、高效的 PLM 和 PLM 的使用这 6 个大类 22 个小类进行了划分。

本文按照综述、基准数据集、PLM 的设计、PLM 的分析、高效的 PLM 和 PLM 的使用这 6 个大类 22 个小类进行了划分：

 

项目链接：https://github.com/RUCAIBox/PLMPapers

内容中包含的图片若涉及版权问题，请及时与我们联系删除