报告摘要： 目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容：1）预训练模型的原理介绍，包括模型结构、学习准则、发展历程等；2）预训练模型的迁移方法：包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能；3）预训练模型的改进模型：包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等；4）对预训练模型及其未来发展趋势进行展望。

个人介绍： 邱锡鹏，复旦大学计算机科学技术学院教授，博士生导师。于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，发表CCF A/B类论文70余篇，获得ACL 2017杰出论文奖（CCF A类）、CCL 2019最佳论文奖。出版开源专著《神经网络与深度学习》，Github关注人数1.3万，豆瓣评分9.6分。曾获得国家优秀青年科学基金、首届中国科协青年人才托举工程项目、钱伟长中文信息处理科学技术奖青年创新一等奖、Aminer"2020年度AI 2000人工智能全球最具影响力提名学者"等。培养学生曾获中国中文信息学会优博、中国人工智能学会优博、微软学者、微软学者提名、百度奖学金、上海市优博提名等。