近日，自然语言处理领域权威排行榜——GLUE（通用语言理解评估基准）新排名出炉。百度自研的语义理解技术与平台文心 ERNIE 以 90.9 的分数再登榜首，领先微软 DeBERTa/TuringNLRv4，谷歌 T5 以及阿里巴巴、华为等研发的其他同类别技术。

GLUE 排行榜由纽约大学、华盛顿大学、谷歌 DeepMind 等机构联合推出，涵盖自然语言推断、语义相似度、问答匹配、情感分析等 9 大不同类型的 NLP 任务。GLUE 榜单的挑战者包含了谷歌、Facebook、微软等国际顶尖科技公司以及斯坦福大学、卡耐基 · 梅隆大学等知名高校，含金量极高。GLUE 榜单在一定程度上成为了衡量各机构自然语言处理预训练技术水平最重要的指标之一。

图 | 文心 ERNIE 层次化 Post-LN Transformer 技术图解

此次百度文心 ERNIE 再度登顶，主要源于文心 ERNIE 对模型持续学习方式的进一步升级和模型神经元数目的进一步增多，使得模型能更加高效地、高质量地学习海量数据中的丰富知识。具体来说，文心 ERNIE 提出了层次化 Post-LN Transformer 算法，解决了大规模 Post-LN Transformer 模型训练不稳定问题，保证了模型训练效果。此外，文心 ERNIE 还利用了百度飞桨独创的 Hybrid Sharding 分布式算法，极大地降低了模型训练时间。

内容中包含的图片若涉及版权问题，请及时与我们联系删除