标题：百度｜ERNIE 3.0: LARGE-SCALE KNOWLEDGE ENHANCED PRE-TRAINING FOR LANGUAGE UNDERSTANDING AND GENERATION（ERNIE 3.0：大规模知识增强预训练语言理解和生成）

简介：最近的工作，如 T5和 GPT-3表明，扩大预训练语言模型可以提高其泛化能力。特别是 GPT-3模型与1750亿个参数显示了其强大的与任务无关的零样本/少样本学习能力。我们提出了一个统一的框架ERNIE 3.0用于大规模的预训练知识增强模型。它融合了自回归网络和自编码网络，使得训练好的模型可以很容易地针对自然语言理解和生成进行定制零样本学习、少样本学习或微调的任务。我们用100亿训练模型由纯文本和大规模知识图组成的4TB语料库上的参数。经验结果表明，该模型在54个中文 NLP 任务上的表现优于最先进的模型，并且英文版在SuperGLUE基准测试中获得第一名，超越人类表现。