论文：All NLP Tasks Are Generation Tasks: A General Pretraining Framework

作者：Zhengxiao Du ，Yujie Qian ，Xiao Liu ，Ming Ding ， Jiezhong Qiu ， Zhilin Yang，Jie Tang

时间：2021/03

本文来自清华唐杰组Jie Tang，提出了一个新的预训练框架，试图通用的处理所有NLP任务（分类、无条件生成和条件生成）。

现有各种类型的预训练架构，包括自回归模型(例如，GPT)，自动编码模型(例如，BERT)，以及编码器-解码器模型(如T5)。在本质上主要分为三类:分类、无条件生成和条件生成。然而，没有一个预训练框架对所有任务都执行得最好，这给模型开发和选择带来了不便。本文提出了一个新的预训练框架GLM(通用语言模型)来解决这个问题。与之前的工作相比，本文体系结构有三个主要的优点: (1)它在分类、无条件生成和条件生成任务上表现良好 (2)它优于改进预训练-精调一致性的BERT-like分类模型 (3)能很好地处理变长问题。

内容中包含的图片若涉及版权问题，请及时与我们联系删除