Rethinking Entity-level Unlearning for Large Language Models

大型语言模型的遗忘已经引起了越来越多的关注，因为它有潜力缓解安全和隐私问题。目前的研究主要集中在实例级别的遗忘，具体目的是忘记预定义的敏感内容实例。然而，在删除完整的与实体相关的信息方面仍存在显著差距，这在许多现实场景中非常重要，例如版权保护。为此，我们提出了一个新的任务：实体级别的遗忘，其中目标模型中与实体相关的知识应该被完全删除。考虑到实际上访问模型中所有与实体相关的知识的挑战，我们通过微调模型引入伪实体来模拟实体级别的遗忘场景。随后，我们开发了受流行的遗忘技术启发的基线方法，并对它们在此任务中的有效性进行了详细比较。广泛的实验表明，当前的遗忘算法难以实现有效的实体级别的遗忘。此外，我们的分析进一步表明，在遗忘过程中，通过微调注入的与实体相关的知识比预训练的原始实体更容易受到影响，这突显了更彻底的伪实体注入方法使它们更接近预训练知识的必要性。

本文提出了一个新的任务——实体级别的遗忘，旨在完全删除目标模型中与实体相关的知识，以解决当前遗忘算法无法有效删除完整实体相关信息的问题。

通过fine-tuning模型引入伪实体来模拟实体级别的遗忘场景，然后开发受当前遗忘技术启发的基线方法，并对它们的有效性进行详细比较。

实验表明，当前的遗忘算法难以实现有效的实体级别遗忘。此外，论文还发现，通过fine-tuning引入的实体相关知识比预训练的原始实体更容易受到影响，因此需要更彻底的伪实体注入方法。

当前研究主要集中在实例级别的遗忘，而本文提出的实体级别的遗忘是一个新的问题。相关研究包括《Large Scale Incremental Learning》、《Overcoming Catastrophic Forgetting with Hard Attention to the Task》等。