【知识蒸馏】蒸馏BERT的知识用于文本生成 【论文标题】Distilling Knowledge Learned in BERT for Text Generation 【作者团队】 Yen-Chun Chen, Zhe Gan, Yu Cheng, Jingzhou Liu, Jingjing Liu 【发表时间】2020/07 【论文链接】https://arxiv.org/abs/1911.03829 【代码链接】https://github.com/ChenRocks/Distill-BERT-Textgen 【推荐理由】本文是一篇利用BERT来辅助文本生成的文章，发表在ACL2020上。BERT作为预训练技术在自然语言理解方面取得了优秀的表现，但在自然语言生成上却一直没有得到很好的利用。究其原因很，很多学者表示BERT的双向性和生成任务的单向性并不匹配，生成任务只能逐词去生成，而BERT面向自然语言理解是双向训练的，能看到上文和下文的共同背景信息。本文借鉴知识蒸馏的方法，提出了条件MASK语言模型，用生成式语言模型的输出学习BERT的输出，最终达到蒸馏效果，是一篇用BERT信息做生成的不错的工作。

内容中包含的图片若涉及版权问题，请及时与我们联系删除