众所周知，自回归语言模型(如GPT-2)里存储着大量的事实知识，比如语言模型可以正确的预测出埃菲尔铁塔所在的城市是巴黎市。

那么语言模型是在什么地方存储这些知识呢？我们是否可以修改存储在语言模型里的知识呢？

来自于MIT的这篇文章就对这些问题做出了解答。

它发现GPT中的事实知识对应于可以直接编辑的局部计算。通过对GPT的一小部分参数进行小的改变就可以修改其内部的知识，实现我们把埃菲尔铁塔搬到英国的小目标 :)

本文发现了在自回归语言模型中，事实知识是可以进行定位以及修改的，比如我们可以直接给语言模型注入知识: 埃菲尔铁塔在英国 (搬到大英博物馆 :))。与此同时，本文也存在着一些不足，比如它一次只能编辑一个事实知识，不能处理其他诸如逻辑、空间以及数学知识，以及会猜测出没有依据的似是而非的新知识等。但总体感觉这篇文章所做的内容还是很有趣的，相信未来也会有更多后续工作来解决这些问题 :)。

论文标题:
Locating and Editing Factual Associations in GPT

论文链接：https://arxiv.org/abs/2202.05262

更多内容可阅读 https://mp.weixin.qq.com/s/R-NCJtFONYbN5jvsZiGaWA

内容中包含的图片若涉及版权问题，请及时与我们联系删除