【论文标题】Multilingual Factual Knowledge Retrieval from Pretrained Language Models 【作者团队】Zhengbao Jiang, Antonios Anastasopoulos, Jun Araki, Haibo Ding, Graham Neubig 【发表时间】2020/10/13 【论文链接】https://arxiv.org/abs/2010.06189

【推荐理由】 本文来自卡耐基梅隆大学团队，该论文一种名为X-FACTR的多语言的事实知识检索模型，有效提升了预训练语言模型在多语言检索上的效果。 目前，语言模型通过完成完形填空风格的空白问题，成功地捕获了事实知识。但是，尽管知识是用多种语言编写和查询的，但关于LM的事实表示能力的研究几乎总是以英语进行的。为了评估LM中不同语言的事实知识检索，作者为类型多样的语言创建了完形填空样式的多语言基准。为了正确处理语言变化，作者将探测方法从单字实体扩展到多字实体，并开发了几种解码算法以生成多令牌预测。广泛的实验结果提供了有关当前最新的LM在使用或多或少可用资源的语言中执行此任务的性能（或较差）的见解。作者进一步提出了一种基于代码切换的方法，以提高多语言LM访问知识的能力，并验证其在几种基准语言上的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除