摘要： 预训练语言模型在最新的研究和应用中表现出强大的语言理解能力，为自然语言处理打开了全新的局面，并推动了整个人工智能领域在预训练方法上的发展。本报告将介绍这一领域在各个主要研究方向上的研究进展，并展望这一研究领域的发展趋势。

个人简介： 西湖大学深度学习实验室特聘研究员。研究主要集中在自然语言处理，计算机视觉和深度学习的结合与应用。在加入西湖大学之前，在谷歌AI部门工作，负责过多个自然语言处理和计算机视觉的项目研发。研发成果被应用于谷歌新闻和谷歌助手等多个拥有亿级以上用户的产品。其研究开发的自然语言理解模型ALBERT是目前最好的语言理解模型之一。博士毕业于卡内基·梅隆大学(CMU)计算机学院学习。博士期间，曾作为核心队员，代表CMU参加美国国家标准总局（NIST）举办的多媒体事件检测比赛（TRECVID MED）并获得三个赛道中的两个的冠军。同时参加此次比赛的还包括斯坦福和IBM内的美国其他的著名高校和企业。近年来，他在多个国际会议和期刊发表论文20余篇。同时，他也在ACM Multimedia, CVPR, ECCV, ICCV 等国际顶会的的程序委员会委员以及TPAMI, TIP, TMM, TCSVT, CVIU 等期刊的审稿人。