In-Context Editing: Learning Knowledge from Self-Induced Distributions

现有的语言模型微调范式在知识编辑场景中往往表现脆弱，模型需要在不进行大量重新训练的情况下吸收新信息。这种脆弱性通常导致过度拟合、性能降低和不自然的语言生成。为了解决这个问题，我们提出了一种新颖的方法，称为一致的上下文编辑（ICE），它利用模型的上下文学习能力，以调整为上下文分布而不是单热目标。ICE引入了一个简单的优化框架，包括目标和过程，增强了基于梯度的微调方法的鲁棒性和有效性。我们提供了ICE在知识编辑的四个关键方面：准确性、局部性、泛化性和语言质量方面的分析洞察，展示了它的优势。在四个数据集上的实验结果证实了ICE的有效性，并展示了它在持续编辑方面的潜力，确保更新的信息被纳入同时保持模型的完整性。

解决问题：论文试图提出一种新的语言模型Fine-tuning方法，用于在不需要大量重新训练的情况下，将新信息整合到模型中。

关键思路：Consistent In-Context Editing (ICE)是一种新的Fine-tuning方法，它利用模型的上下文学习能力，将调整目标从one-hot目标转向上下文分布目标，提高了梯度调整方法的鲁棒性和有效性。

其他亮点：论文通过四个方面的分析，即准确性、局部性、泛化能力和语言质量，展示了ICE的优势。实验结果表明ICE的有效性，并展示了其在不断编辑中的潜力，确保更新信息被整合到模型中并保持模型的完整性。

相关研究：最近的相关研究包括使用不同的Fine-tuning方法来整合新信息，如Few-shot Learning和Meta-learning。