预训练已经成为自然语言处理任务的重要组成部分，为大量自然语言处理任务带来了显著提升。本文将围绕预训练模型，介绍相关技术在文本内容理解方面的应用。更具体的，本文会首先对已有的经典预训练工作进行回顾，帮助大家理解预训练模型以及不同模型之间的差异；然后介绍我们在训练算法、框架开发、上线推理方面进一步的探索，以及相关工作在业务上的应用。最后，对当前我们面临的挑战进行总结，并对未来工作进行展望。

分享嘉宾：赵哲博士 腾讯 高级研究员

本文涉及的预训练框架UER-py项目地址：

https://github.com/dbiir/UER-py 

内容中包含的图片若涉及版权问题，请及时与我们联系删除