标题：清华、微信｜A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models（一个用于预训练语言模型的简单但有效的可插拔实体查找表）

作者：Deming Ye, Yankai Lin, Maosong Sun, Zhiyuan Liu等

简介：本文介绍了一种预训练语言模型方法。预训练的语言模型 (PLM) 不能很好地回忆起大规模语料库中展示的实体的丰富事实知识，尤其是那些罕见的实体。 在本文中，作者提出建立一个简单但有效的通过聚合实体在语料库中多次出现的输出表示，按需提供可插入实体查找表 (PELT)。PELT可以兼容地插入为将补充实体知识注入PLM的输入。 与以往相比知识增强预训练模型相比，PELT只需要 0.2%∼5% 的预计算，具有从域外语料库获取知识的能力，用于域适应场景。 知识相关实验任务表明作者的方法 PELT 可以灵活有效地将实体知识从相关语料库转移到具有不同架构的 PLM 中。

代码下载：https://github.com/thunlp/PELT

论文下载：https://arxiv.org/pdf/2202.13392.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除