Knowledge Editing in Language Models via Adapted Direct Preference Optimization

大型语言模型（LLMs）可能随着时间的推移变得过时，因为它们可能缺乏更新的世界知识，导致事实知识错误和缺口。知识编辑（KE）旨在通过不需要昂贵的重新训练的权重更新来克服这一挑战。我们建议将KE视为LLM对齐问题。为此，我们引入了知识直接偏好优化（KDPO），这是一种更有效的知识修改方法，是直接偏好优化（DPO）的变体。我们的方法基于一种在线方法，不断更新模型中存储的知识。我们将当前知识用作负样本，将要引入的新知识用作正样本，通过DPO的过程进行优化。我们还使用教师强制方法进行负样本生成，并使用正样本进行优化，这有助于保持局部变化。我们在各种数据集和模型上测试了我们的KE方法，并将其与几种尖端方法进行了比较，进行了100和500个连续编辑。此外，我们进行了消融研究，将我们的方法与标准DPO方法进行了比较。我们的实验结果表明，我们修改后的DPO方法允许更精细的KE，与先前的方法相比实现了类似或更好的性能。

如何解决大型语言模型在时间上过时的问题，从而避免其在知识方面出现错误和缺陷？

使用一种名为Knowledge Direct Preference Optimization (KDPO)的新方法，将知识编辑（KE）视为大型语言模型对齐问题，并通过在线方法不断更新模型中存储的知识。

论文提出了一种新的知识编辑方法KDPO，与现有方法相比能够更好地处理知识修改，实验结果表明该方法能够实现更精细的知识编辑，并且在多个数据集和模型上进行了测试。论文还探讨了KDPO方法与标准DPO方法的区别，并列举了其他值得关注的亮点。

最近在这个领域中，还有一些相关的研究，例如《Fine-Tuning Language Models from Human Preferences》、《Large-Scale Language Model Compression》等。