自谷歌 2018 年 10 月推出 BERT 模型以来，各式各样的改进版预训练模型（Pre-Training Model, PTM）层出不穷，为 NLP 领域持续赋能。在近两年的时间里，出现了哪些令人印象深刻的新模型呢？又如何打造最强的预训练模型呢？近日，中科院软件所博士、新浪微博 AI Lab 担任资深算法专家张俊林以现有技术文献为基础，试图回答预训练模型相关的一系列问题。

内容中包含的图片若涉及版权问题，请及时与我们联系删除