作者：Taolin Zhang，Zerui Cai，Chengyu Wang，Minghui Qiu，Bite Yang，Xiaofeng He

推荐理由：大规模医学语料库上的预训练模型

简介：最近，通过注入知识事实来增强预训练语言模型（PLM）的语言理解能力，其性能得到了显着提高。对于医学领域，背景知识源特别有用，因为大量的医学术语及其复杂的关系在文本中难以理解。在这项工作中，作者介绍了 SMedBERT：一种在大规模医学语料库上训练的医学 PLM，它结合了来自SMedBERT邻居的深层结构语义知识，提出了：涉及邻居混合注意来学习异构实体信息，将实体类型的语义表示注入到同构的相邻实体结构中。

除了作为外部特征的知识集成外，作者还建议将知识图中链接实体的邻居用作文本提及的附加全局上下文，允许它们通过共享邻居进行通信，从而丰富它们的语义表示。

实验表明，SMedBERT 在各种知识密集型的中国医疗任务中明显优于强大的基线，而且还提高了其他任务的性能：如问答、问题匹配和自然语言推理。

下载地址：https://arxiv.org/pdf/2108.08983

HUB地址：https://hub.baai.ac.cn/update/9537

内容中包含的图片若涉及版权问题，请及时与我们联系删除