What does the Knowledge Neuron Thesis Have to do with Knowledge?

我们重新评估了知识神经元（KN）论点：这是对大型语言模型能够从训练语料库中召回事实的机制进行的一种解释。这个新兴的论点提出，事实是通过MLP权重从训练语料库中召回的，这种方式类似于键值记忆，实际上意味着“知识”存储在网络中。此外，通过修改MLP模块，可以控制语言模型生成事实信息的能力。KN论点的可信度已经通过KN启发式模型编辑方法（Dai等，2022; Meng等，2022）的成功得到证明。 我们发现，这个论点最多只是一种过度简化。我们不仅发现可以使用相同的模型编辑方法编辑某些语言现象的表达方式，而且通过更全面的评估，我们发现KN论点不能充分解释事实表达的过程。虽然可以认为MLP权重存储了既有句法又有语义可解释的复杂模式，但这些模式并不构成“知识”。为了获得更全面的知识表示过程理解，我们必须超越MLP权重，探索最近模型的复杂层结构和注意机制。

重新评估知识神经元（KN）论文的假设，即大型语言模型从训练语料库中检索事实的机制，以及通过修改MLP模块可以控制语言模型生成事实信息的能力。该论文试图解决KN论文是否能够充分解释事实表达过程的问题。

该论文认为KN论文的假设过于简化，不能充分解释事实表达过程。通过更全面的评估，发现MLP权重存储的复杂模式可以在语法和语义上解释，但这些模式并不构成“知识”。要获得更全面的知识表示过程的理解，必须超越MLP权重，探索最近模型的复杂层结构和注意机制。

该论文指出KN论文的假设过于简化，不能充分解释事实表达过程。实验设计更全面，发现MLP权重存储的复杂模式可以在语法和语义上解释，但这些模式并不构成“知识”。需要探索最近模型的复杂层结构和注意机制来获得更全面的知识表示过程的理解。

最近的相关研究包括Dai等人（2022）和Meng等人（2022）的KN启发式模型编辑方法。