摘要： 文本生成是自然语言处理的重要方向之一，很多关键的下游任务包括机器翻译，人机对话，自动问答等都可以用生成的方式来实现。此外，文本生成模型本身也具有较大价值，比如升级预训练表示学习中的生成模型往往能带来巨大的性能提高（从GPT到BERT）。主流的文本生成模型主要遵循自左至右的生成范式，并使用Transformer来参数化。其中修改网络结构，改进Transformer的参数化方式被研究地较多，但提出全新的生成范式却直到Mask LM的提出才开始得到较多关注。本次报告会主要聚焦在全新生成范式上，通过从Diffusion Networks，即一个全新的深度生成模型出发，来总结性地介绍非自回归生成，迭代式生成以及基于插入删除的全新生成方法，并尝试展望未来文本生成模型的一些可能的发展方向。

个人简介： 周浩，字节跳动人工智能实验室研究员，主要负责文本生成技术的研究和落地以及商业场景 (包括广告和电商)下的文本理解技术的应用。周浩于2017年博士毕业于南京大学，并获得南京大学优秀博士论文和中国人工智能学会优秀博士论文。他的研究方向包括机器学习以及其在自然语言理解中的应用。目前，他主要关注深度生成模型在自然语言处理中的应用，包括文本生成和深度文本表示学习。他曾担任多个会议的程序委员会成员，并在相关会议包括ACL, EMNLP, NeurIPS, ICML和ICLR上发表论文3篇

内容中包含的图片若涉及版权问题，请及时与我们联系删除