大型预训练语言模型能很好的记忆训练语料中的事实知识。在这篇文章中，我们探究隐式知识如何存储在预训练 Transformers 中，引出了一个概念——知识神经元（Knowledge Neurons）。给定一个关系型事实，我们提出了一个知识归因方法去识别哪些神经元存储表示了这个事实。我们提出了这种知识神经元的 activation 是和它们的所表示的知识高度相关的。另外，不需要微调（fine-tuning），我们也能利用知识神经元去显式地编辑（更新，删除）特定事实知识。

Contribution：

  • 提出了知识神经元的概念，提出了知识归因方法，去定位事实知识的特定神经元；

  • 我们进行了定性的和定量的研究，展示了知识神经元和 PTM 表示知识的相关性；

  • 我们演示了如何去修改 Transformers 中的知识（更新，删除），不需要任何 fine-tuning。

论文标题：

Knowledge Neurons in Pretrained Transformers

论文地址：

https://arxiv.org/abs/2104.08696

作者认为知识神经元是存储在 FFNs 中的，因为：

Self-Att 和 FFN 的形式类似。所以，将 FFN 视为 key-value bank 是合理的。 

事实知识的定位分为两步：知识归因 (Knowledge Attribution)、精炼神经元 (Knowledge Neuron Refining)。

总结

我们发现，放大或抑制知识神经元的激活可以相应地影响对事实的记忆。此外，对开放域文本的定性分析表明，事实的表达与其知识神经元相关。此外，分析描述了我们如何利用知识神经元显式更新和删除预训练 Transformers 中的事实。

尽管识别知识神经元是有效的，但我们目前的研究仍然存在一些局限性。

首先，我们通过填写空白完形填空查询来检验事实知识，而许多文本以更隐含的方式表达知识。预训练语言模型能否利用存储具有一定泛化能力的知识，如推理，这是一个悬而未决的问题。

第二，在我们的实验中，我们关注关系型知识，因为它们的特殊性和易于评估，即使所提出的方法也可以应用于其他类型的知识。

第三，为了简单，我们在完形填空中使用 single-word 查询，这需要一些扩展来支持 multi-word 查询。此外，一个有趣的方向是找出知识神经元如何在多语言预训练模型中工作。

内容中包含的图片若涉及版权问题，请及时与我们联系删除