SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning

大型语言模型（LLMs）凸显了有效的遗忘机制对于遵守数据法规和道德人工智能实践的必要性。LLM遗忘旨在消除不需要的数据影响和相关的模型能力，同时不影响遗忘范围之外的实用性。虽然研究LLM遗忘的兴趣正在增长，但优化器选择对LLM遗忘的影响仍未得到充分探索。在这项工作中，我们首次阐明了优化器选择在LLM遗忘中的重要性，建立了{二阶优化}和影响遗忘之间的清晰联系（一种使用影响函数更新模型以消除数据影响的经典方法）。这一洞见推动我们开发了一个基于二阶剪裁随机优化（Sophia）的LLM训练方法的二阶遗忘框架，称为SOUL。SOUL将静态、一次性的模型更新使用影响遗忘扩展为动态、迭代的遗忘过程。我们广泛的实验表明，SOUL在各种遗忘任务、模型和指标上始终优于传统的一阶方法，表明二阶优化在提供可扩展且易于实现的LLM遗忘解决方案方面具有潜力。

本文旨在探索大型语言模型（LLM）的去学习机制，以遵守数据法规和道德AI实践的要求。研究LLM去学习的兴趣正在增加，但是优化器选择对LLM去学习的影响尚未被充分探讨。

本文提出了一个基于二阶优化的去学习框架SOUL，建立了二阶优化和影响去除之间的联系。SOUL通过Sophia和影响函数进行模型更新，将静态的一次性模型更新扩展为动态的迭代去学习过程。

实验结果表明，SOUL在各种去学习任务、模型和指标上都优于传统的一阶方法，为LLM去学习提供了可扩展且易于实现的解决方案。

相关研究包括《Influence-Directed Explanations for Deep Convolutional Networks》、《Understanding Black-box Predictions via Influence Functions》等。