本篇目的是从预训练模型的发展历程中，挖掘出一些作者们思路的脉络。希望读者看完本文后可以理解预训练发展的动力，以及论文的作者们是如何从现有模型的优缺点出发，改进预训练目标(pre-training objective)而发明新模型的。在后续的文章中，我还会介绍多语言预训练的相关工作，敬请期待。

  1. 从GPT和BERT到XLNet

  2. 从BERT和XLNet到MPNet

  3. NLU任务的预训练 VS NLG任务的预训练

在开头先列出本文中涉及到的名词缩写
 

  • PTM: Pre-train Model, 预训练模型

  • LM: Language Model，语言模型

  • AR: Auto-Regressive，自回归

  • AE: Auto-Encoding，自编码

  • CLM: Causual Language Model

  • MLM: Masked Language Model

  • PLM: Permuted Language Model

  • NLU: Natural Language Understanding

  • NLG: Natural Language Generation

感兴趣的可以戳原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除