LEMoE: Advanced Mixture of Experts Adaptor for Lifelong Model Editing of Large Language Models

大型语言模型（LLMs）需要不断更新知识，以跟上不断变化的世界事实，这促使了终身模型编辑任务的制定。虽然近年来已经出现了各种单一和批量编辑的技术，但这些方法在面对终身编辑时要么无法应用，要么表现不佳。在本文中，我们介绍了LEMoE，一种先进的混合专家（MoE）适配器，用于终身模型编辑。我们首先分析了影响传统MoE适配器在终身编辑中有效性的因素，包括灾难性遗忘、不一致的路由和顺序敏感性。基于这些见解，我们提出了一种量身定制的模块插入方法，以实现终身编辑，包括一种新颖的KV锚定路由来增强训练和推理阶段之间的路由一致性，以及一种简洁而有效的基于聚类的编辑顺序规划。实验结果表明，我们的方法在终身编辑方面具有很高的效果，超过了以前的模型编辑技术，同时在批量编辑任务中保持了出色的性能。我们的代码将会提供。

本论文旨在解决大型语言模型需要不断更新知识以保持最新的问题，提出了一种适用于终身模型编辑的高级MoE适配器。

该论文提出了一种定制的模块插入方法，包括一种新颖的KV锚定路由来增强训练和推断阶段之间的路由一致性，以及一种简洁而有效的基于聚类的编辑顺序规划。

该方法在终身编辑任务中表现出了优异的性能，同时在批量编辑任务中保持了出色的性能。作者将开源代码。

最近的相关研究包括单个和批量编辑的各种技术，但这些方法在面对终身编辑时要么无法应用，要么表现不佳。