标题：北大、微软|Knowledge Neurons in Pretrained Transformers(预训练变换器中的知识神经元)

简介：大规模的预训练语言模型擅长回忆训练语料库中提供的事实知识。 在本文中，我们探索隐式知识的存储方式在预训练的变形金刚中引入知识神经元的概念。 给定一个相关事实，我们提出知识归因识别表达神经元的方法事实。 我们提出这样的激活知识神经元与表达其相应事实。 此外，即使不进行微调，我们也可以利用知识神经元进行显式编辑（例如作为更新和删除）特定的事实知识，以供预训练的变换器使用。

论文链接：https://arxiv.org/pdf/2104.08696.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除