标题：中科院、腾讯｜Knowledgeable or Educated Guess? Revisiting Language Models as Knowledge Bases（知识渊博或训练猜测？重新审视语言模型知识库）

简介：以前的文献表明，预训练的掩码语言模型，例如BERT可以在某些数据集上实现具有竞争力的事实知识提取性能，表明预训练语言模型可能是一个可靠的知识来源。在本文中，我们进行了一项严格的研究，以探索不同提取范式下预训练语言模型的潜在预测机制。通过调查预训练语言模型的行为，我们发现以前良好的表现主要归功于过度拟合数据集的偏见提示。此外，结合说明性案例和外部上下文改善知识预测主要是由于实体类型指导和黄金答案泄漏。我们的发现揭示了预训练语言模型潜在的预测机制，并强烈质疑以前的结论：预训练语言模型可以作为可靠的事实知识库。