Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning

模型编辑旨在在不需要昂贵的重新训练的情况下，纠正大型语言模型（LLM）中过时或错误的知识。终身模型编辑是最具挑战性的任务，它满足了LLM的持续编辑需求。之前的研究主要集中在单个或批量编辑上，然而，这些方法在终身编辑场景中存在严重的知识遗忘和模型性能退化问题。虽然基于检索的方法缓解了这些问题，但是将检索到的知识整合到模型中的过程缓慢而繁琐。在这项工作中，我们介绍了RECIPE，一种检索增强的连续提示学习方法，以提高终身学习中的编辑效率和推理效率。RECIPE首先将知识语句转换为短且信息丰富的连续提示，前缀添加到LLM的输入查询嵌入中，以有效地改进基于知识的响应。它进一步集成了知识哨兵（KS），作为中介来计算动态阈值，确定检索存储库是否包含相关知识。我们的检索器和提示编码器共同训练以实现编辑属性，即可靠性、普遍性和局部性。在我们的实验中，RECIPE在多个LLM和编辑数据集上得到了广泛评估，表现出优越的编辑性能。RECIPE还展示了它在展示快速编辑和推理速度的同时，能够维持LLM的整体性能。

解决问题的主要目标是在不需要重新训练的情况下，对大型语言模型（LLMs）进行修正，以纠正过时或错误的知识。同时，该论文还试图解决连续编辑问题中知识遗忘和模型性能退化的挑战。

该论文提出了一种基于检索的方法，称为RECIPE，它使用连续提示和知识哨兵来提高编辑效率和推理效率。该方法将知识语句转换为短且信息丰富的连续提示，以有效地改进响应。通过知识哨兵来计算动态阈值，以确定检索库中是否包含相关知识。该检索器和提示编码器是联合训练的，以实现可靠性、普适性和局部性等编辑属性。

该论文在多个LLMs和编辑数据集上进行了广泛评估，结果表明RECIPE的编辑性能优于其他方法。此外，该方法还展示了在保持LLMs整体性能的同时，具有快速的编辑和推理速度的能力。

最近的相关研究包括使用不同的技术来解决LLMs的连续学习问题，如增量学习，元学习和知识蒸馏。其中一些研究包括《Continual Learning with Feedback-based Fine-tuning》和《Continual Learning with Bayesian Neural Networks for Non-stationary Data》。