A Unified Framework for Model Editing

模型编辑是一个不断发展的领域，专注于更新嵌入在模型中的知识。在各种方法中，ROME和MEMIT作为领先的“定位和编辑”模型编辑技术脱颖而出。虽然MEMIT可以批处理编辑记忆，但ROME仅限于一次更改一个事实。本文介绍了一个统一框架，将ROME和MEMIT置于一个概念统一的伞下，优化相同的目标，我们称之为“保护-记忆”目标。此目标旨在保留某些选定向量的表示，同时记忆新的事实信息的表示。具体而言，ROME使用相等约束来优化此目标，而MEMIT采用更灵活的最小二乘约束。除了进行批处理编辑外，MEMIT还在多个层次上编辑模型。我们将编辑分布算法从MEMIT的优化目标中解开，并展示这些编辑分布算法应被视为独立的实体，值得进行自己的研究。最后，我们提出了EMMET - 一种转换器的相等约束质量模型编辑算法，一种新的批处理记忆编辑算法。通过EMMET，我们提出了“保护-记忆”目标的相等约束版本的闭式解。我们展示EMMET能够批处理编辑的能力与MEMIT相当，批处理大小最多可达256，并讨论稳定EMMET的挑战。通过在“保护-记忆”这个简单的概念框架下表达“定位和编辑”模型编辑算法，我们旨在弥合直觉和数学之间的差距，并希望为未来的模型编辑研究人员简化旅程。

本文旨在将现有的模型编辑技术ROME和MEMIT整合成一个单一的框架，以优化“保留 - 记忆”目标，即在保留一些选定向量的表示的同时，记忆新的事实信息的表示。

该论文提出了一个简单的概念框架，将ROME和MEMIT整合在一起，通过等式约束和最小二乘约束来实现“保留 - 记忆”目标。同时，本文还提出了EMMET算法，它是一个基于等式约束的批量模型编辑算法，能够在批量大小为256的情况下与MEMIT相媲美。

本文的亮点包括：提出了一个简单的概念框架来整合现有的模型编辑技术；提出了EMMET算法，它能够在批量大小为256的情况下与MEMIT相媲美；通过实验验证了EMMET算法的有效性。

最近的相关研究包括：《Learning to Remember Rare Events》、《Meta-Learning for Low-Resource Neural Machine Translation》等。