摘要： 预训练语言模型在最近的研究工作中表现出了强大的能力，为自然语言处理研究打开了全新的局面，并推动了整个人工智能领域的发展。本报告将结合华为诺亚方舟实验室在预训练语言模型方面开展的一系列工作，介绍这一领域的一些主要进展，并展望这一研究方向的发展趋势。

简介： 华为诺亚方舟实验室语音语义首席科学家，负责语音和自然语言处理研究。原爱尔兰都柏林城市大学教授、爱尔兰ADAPT中心自然语言处理主题负责人、中国科学院计算技术研究所研究员、自然语言处理研究组负责人。分别在中国科学技术大学、中科院计算所、北京大学获得计算机学士、硕士和博士学位。研究方向主要是自然语言理解、语言模型、机器翻译、问答、对话等。研究成果包括汉语词语切分和词性标注系统、基于句法的统计机器翻译方法、篇章机器翻译、机器翻译评价方法等。承担或参与多项中国、爱尔兰和欧盟大型科研项目。在国际会议和期刊发表论文300余篇，被引用8000多次。培养国内外博士硕士毕业生50多人。获得过Google Research Award、ACL Best Long Paper、钱伟长中文信息处理科学技术奖一等奖、国家科技进步二等奖等奖项。

内容中包含的图片若涉及版权问题，请及时与我们联系删除