UnKE: Unstructured Knowledge Editing in Large Language Models

最近的知识编辑方法主要集中在修改大型语言模型中的结构化知识，严重依赖于这样一个假设，即结构化知识以键值对的形式存储在MLP层或特定的神经元中。然而，这种任务设置忽略了现实世界中相当大一部分的知识是以非结构化格式存储的，具有长篇内容、噪声和复杂但全面的特点。从以前方法（例如MEMIT）中使用的假设进行的“知识定位”和“术语驱动优化”技术不适用于非结构化知识。为了解决这些挑战，我们提出了一种新的非结构化知识编辑方法，即UnKE，它扩展了层维度和标记维度中的先前假设。首先，在层维度上，我们放弃了“知识定位”步骤，并将前几层视为关键因素，通过层来扩展知识存储，打破了“本地存储知识”的假设。接下来，我们在标记维度上用“因果驱动优化”代替“术语驱动优化”，直接优化关键字生成器的最后一层，以执行编辑生成所需的关键字向量。通过在层级别上利用键值对，UnKE有效地表示和编辑复杂和全面的非结构化知识，利用了MLP和注意力层的潜力。在新提出的非结构化知识编辑数据集（UnKEBench）和传统结构化数据集上的结果表明，UnKE取得了显著的性能，超过了强基线。

UnKE试图解决的问题是如何有效地编辑非结构化知识，以及如何克服先前方法中的局限性和假设。

UnKE通过在层维度和令牌维度上扩展先前的假设，提出了一种新的非结构化知识编辑方法。在层维度上，UnKE丢弃了“知识定位”步骤，将前几层视为关键，通过层来扩展知识存储以打破“本地存储”假设。在令牌维度上，UnKE将“基于术语的优化”替换为“基于原因的优化”，直接优化关键字生成器的最后一层以执行编辑以生成所需的关键向量。

论文在新提出的非结构化知识编辑数据集（UnKEBench）和传统结构化数据集上进行了实验，并展示了UnKE卓越的性能，超过了强基线。值得关注的是，UnKE利用了MLP和attention层的潜力，有效地表示和编辑复杂和全面的非结构化知识。

最近的相关研究包括MEMIT，它也是一种基于关键字的知识编辑方法，但是主要关注于修改大型语言模型中的结构化知识，而忽略了非结构化知识。