Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing

知识编辑（KE）算法通过修改模型的内部权重来执行对不正确、过时或不希望的事实关联的定向更新。为了更好地定义这些方法的可能性和局限性，最近的研究表明，应用KE可能会对模型的事实回忆准确性产生不利影响，并削弱其一般推理能力。尽管这些研究通过性能评估基准提供了对KE算法潜在危害的广泛见解，但我们认为，对于这些破坏性故障为何发生的原因了解甚少。KE方法是否扭曲了目标事实之外的概念表示，从而广泛地损害了模型的能力？如果是这样，这种扭曲的程度如何？为了朝着解决这些问题迈出一步，我们定义了一个新的合成任务，即从头训练一个Transformer以内部化一个“结构化”的知识图谱。该结构强制图中实体之间的关系，使得编辑一个事实关联会对图中的其他实体产生“连锁效应”（例如，将X的父节点从Y更改为Z会影响X的兄弟姐妹的父节点）。通过对编辑后的模型进行评估和对提取表示的分析，我们展示了KE会无意中影响目标实体之外的实体表示，扭曲使模型能够推断出关于实体的未见知识的相关结构。我们将这种现象称为表示破碎，并证明它会导致事实回忆和更广泛的推理性能的下降。为了在更自然的环境中验证我们的发现，我们对预训练的GPT-2-XL模型进行了初步实验，并在其中也重现了表示破碎的效果。总体而言，我们的工作提出了一种精确的机制假设，解释了为什么KE会对模型能力产生不利影响。

论文试图探讨知识编辑（KE）算法在修改模型内部权重以更新不正确、过时或不希望的事实关联时，为何会导致模型事实回忆准确性和一般推理能力下降的问题。这是一个相对较新的问题，旨在深入理解KE方法的潜在负面影响。

论文的关键思路是通过定义一个合成任务，训练Transformer从头开始内化一个‘结构化’的知识图谱，该图谱中的实体关系使得对某一事实关联的编辑会产生‘连锁效应’。通过评估编辑后的模型和分析提取的表示，论文揭示了KE方法不仅影响目标实体的表示，还会扭曲其他相关实体的表示，导致‘表示破碎’现象，进而影响模型的广泛推理能力。这一思路为解释KE方法的负面影响提供了精确的机制假设。

论文设计了一个新颖的合成任务，展示了KE方法如何在编辑特定事实时影响其他相关实体的表示。此外，论文还通过预训练的GPT-2-XL模型进行了初步实验，验证了‘表示破碎’现象的存在。这些实验设计严谨，使用了合成数据和真实数据集，且提供了开源代码，便于复现和进一步研究。未来的研究可以探索如何减轻KE方法的负面影响，提高模型的稳定性和可靠性。

最近在这个领域中，相关的研究包括： 1. "Understanding and Mitigating the Trade-offs in Knowledge Editing for Pre-trained Language Models" - 探讨了KE方法在预训练语言模型中的权衡。 2. "Knowledge Editing in Neural Networks: A Survey" - 对KE方法进行了全面综述，讨论了其在不同应用场景中的优缺点。 3. "Evaluating the Impact of Knowledge Editing on Language Model Performance" - 评估了KE方法对语言模型性能的影响，提出了改进措施。