目前已经有很多工作尝试将外部知识融入到以BERT为代表的预训练语言模型中，它们主要集中在常识（Commonsense Knowledge）和开放领域知识（Open Domain Knowledge）。但是，有很多重要的任务需要用到专业的领域知识（Specialized Domain Knowledge），比如医疗自动问答需要BERT拥有一定的医学知识。本文来自德州农工大学的贺赟跟大家分享向预训练语言模型注入专业领域知识。

内容中包含的图片若涉及版权问题，请及时与我们联系删除