在最新的 NLU 测试基准 SuperGLUE 中，微软提出的 DeBERTa 登顶榜单，并超越人类。 去年 6 月，来自微软的研究者提出一种新型预训练语言模型 DeBERTa，该模型使用两种新技术改进了 BERT 和 RoBERTa 模型。8 月，该研究开源了模型代码，并提供预训练模型下载。最近这项研究又取得了新的进展。

微软最近通过训练更大的版本来更新 DeBERTa 模型，该版本由 48 个 Transformer 层组成，带有 15 亿个参数。本次扩大规模带来了极大的性能提升，使得单个 DeBERTa 模型 SuperGLUE 上宏平均（macro-average）得分首次超过人类（89.9 vs 89.8），整体 DeBERTa 模型在 SuperGLUE 基准排名中居于首位，以 90.3 的得分显著高出人类基线（89.8）。目前该模型以 90.8 的宏平均（macro-average）得分高居 GLUE 基准排名的首位。

DeBERTa 是一种基于 Transformer，使用自监督学习在大量原始文本语料库上预训练的神经语言模型。像其他 PLM 一样，DeBERTa 旨在学习通用语言表征，可以适应各种下游 NLU 任务。DeBERTa 使用 3 种新技术改进了之前的 SOTA PLM（例如 BERT、RoBERTa、UniLM），这 3 种技术是：

  1. 分解注意力（disentangled attention）机制；
  2. 增强型掩码解码器；
  3. 一种用于微调的虚拟对抗训练方法。

最近该研究在 arXiv 上提交了 DeBERTa 的最新论文，文中详细介绍了 DeBERTa 模型的方法及最新的实验结果。

论文链接：https://arxiv.org/pdf/2006.03654v2.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除