关系型知识库（KBs）常被用于表示机器中的世界知识。 然而，尽管KBs具有高度的精确性和可解释性，但它们通常是根据手工定义的模式进行组织的，这限制了它们的表达能力，并且需要大量的人力来构建和维护。 在这篇综述中，我们从自然语言处理的角度分析了这些局限性，考察了如何通过训练深层语境语言模型（LMs），以更灵活的形式内化和表达关系型知识，来部分解决问题。我们提出，通过“提供给LM的KB监督程度”来对LMs中的知识表示策略进行分类，从no KB supervision 到 entity-level（实体级别） 到 relation-level （关系级别）。我们的贡献有以下三点：

  1. 我们为“语言模型中的知识表示”提供了一个高水平，可扩展的分类法。
  2. 在我们的分类法中，我们强调了重要的模型，评估任务和发现，对LMs中的知识表示能力进行总结。
  3. 我们建议未来的研究方向，LMs和KBs在知识表示能力上的互补性。

论文链接：https://arxiv.org/abs/2104.05837

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除