On the Impossibility of Retrain Equivalence in Machine Unlearning

机器遗忘旨在有选择性地消除特定训练数据对模型输出的“影响”。理想目标是实现重训练等效性——即模型的行为与仅在保留数据上从头开始训练所得模型完全相同。这一目标最初是针对采用独立同分布数据批次训练的模型提出的，而现代训练流程往往涉及多阶段训练，每一阶段具有不同的数据分布和优化目标，例如大语言模型（LLM）为提升对齐性、推理能力等进行的微调。我们的研究通过理论分析与实验表明，转向多阶段训练为机器遗忘带来了根本性的障碍。理论指出，局部遗忘方法——即仅利用在遗忘集上计算出的梯度的方法——其效果具有路径依赖性。也就是说，模型在遗忘过程中的行为受到其学习过程中各训练阶段顺序的影响，这使得不考虑训练路径的算法无法普遍实现重训练等效性。我们在Llama和Qwen系列模型（10亿至140亿参数）上，使用梯度上升、NPO和SimNPO等局部遗忘算法，在大语言模型的后训练阶段实证验证了这一现象。通过不同顺序执行相同训练阶段所得到的微调模型，在遗忘过程中表现出显著不同的行为，其在GSM8K任务上的准确率下降幅度因训练路径不同而差异超过20%。我们还观察到，某些训练路径始终会产生更难遗忘的模型。在遗忘过程中，概率质量是被压缩到改写表达还是转向其他概念，也取决于训练路径。这些结果一致表明，只要目标模型是分阶段训练得到的，重训练等效性对于局部遗忘算法而言就是一个定义不当的目标。在难以获取模型训练历史的实际场景中，本研究呼吁重新思考机器遗忘的定义及其应满足的理想特性。

论文探讨了在多阶段训练（multi-stage training）场景下，机器遗忘（machine unlearning）是否仍能实现理想的‘重训练等价’（Retrain Equivalence）目标。传统机器遗忘假设模型在i.i.d.数据上训练，目标是让遗忘后的模型行为与仅在保留数据上从头训练的模型一致。然而，现代大模型通常经过多个训练阶段（如预训练、对齐微调、推理能力增强等），每个阶段的数据分布和目标不同。论文指出，在这种设定下，遗忘结果依赖于训练路径（path-dependent），使得传统的局部遗忘算法无法普遍达到重训练等价，因此该目标在多阶段训练中可能不再合理。这是一个新兴且重要的问题，尤其在大模型部署和合规需求（如GDPR）背景下尤为关键。

论文的核心思想是提出并证明：在多阶段训练中，机器遗忘的结果具有‘路径依赖性’——即模型在不同顺序但相同内容的训练阶段后，其遗忘行为表现不同。这意味着仅基于遗忘集梯度的‘路径无感知’局部遗忘算法（如梯度上升、NPO、SimNPO）无法普遍实现重训练等价。理论分析表明，局部遗忘方法无法恢复训练历史的影响，从而从根本上限制了其有效性。这一观点挑战了传统机器遗忘的目标设定，提出了新的理论边界。

作者通过理论推导和大规模实验验证了路径依赖现象，在Llama和Qwen系列模型（1B到14B参数）上进行了LLM后训练中的遗忘实验，使用GSM8K作为评估基准。结果显示，不同训练顺序导致遗忘后GSM8K准确率差异超过20%，且某些路径下的模型更难遗忘。此外，遗忘过程中概率质量向 paraphrasing 或替代概念转移的方式也是路径依赖的。实验涵盖多种主流局部遗忘算法（gradient ascent, NPO, SimNPO），增强了结论的普适性。虽然未明确提及代码开源，但实验设计严谨，跨模型、跨算法、跨路径的对比为后续研究提供了重要参考。值得深入的方向包括：如何定义适合多阶段训练的新型遗忘目标，设计路径感知的遗忘算法，或开发无需完整训练历史的近似解法。

近期相关研究包括：'Towards Efficient and Scalable Exact Unlearning in Deep Networks' (ICML 2023), 'Machine Unlearning in the Real World' (NeurIPS 2022 Workshop), 'Influence Tuning for Large Language Models' (ICLR 2024), 'Unlearning for Good: Scalable Knowledge Removal via Fine-Tuning' (ACL 2024), 以及 'SoK: Machine Unlearning' (IEEE S&P 2023) 对该领域的系统性综述。这些工作大多基于单阶段训练假设，而本文首次系统揭示了多阶段训练带来的根本性挑战，填补了理论空白。