Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models

机器遗忘（Machine unlearning）通过从机器学习模型中删除个人的私人或敏感信息，授权个人“被遗忘”的权利。然而，目前尚不确定MU能否有效地应用于多模态大语言模型（Multimodal Large Language Models，MLLMs），特别是在遗忘泄露的概念视觉数据的情况下。为了克服这一挑战，我们提出了一种高效的方法——单图像遗忘（Single Image Unlearning，SIU），通过微调单个相关图像来遗忘一个概念的视觉识别。SIU包括两个关键方面：（i）构建多方面微调数据。我们介绍了四个目标，基于这些目标构建要遗忘概念的微调数据；（ii）联合训练损失。为了同时遗忘概念的视觉识别并保留MLLM的效用，我们通过一种新颖的双掩蔽KL散度损失与交叉熵损失相结合的方法对MLLM进行微调。除了我们的方法，我们还建立了MMUBench，这是一个新的MLLM中MU的基准，并引入了一系列用于评估的指标。在MMUBench上的实验结果表明，SIU完全超越了现有方法的性能。此外，我们惊奇地发现，SIU可以避免侵入式成员推断攻击和越狱攻击。据我们所知，我们是第一个探索MLLM中MU的团队。我们将在不久的将来发布代码和基准。

论文旨在解决机器遗忘在多模式大语言模型中的应用问题，特别是在忘记泄露的概念的视觉数据的情况下。

论文提出了一种有效的方法Single Image Unlearning (SIU)，通过微调一个相关的单一图像来遗忘一个概念的视觉识别。

论文构建了一个新的基准MMUBench来评估机器遗忘在多模式大语言模型中的应用，并介绍了一系列指标。实验结果表明，SIU完全超越了现有方法的表现。另外，SIU还可以避免成员推理攻击和越狱攻击。

在这个领域的相关研究包括：Towards Federated Learning at Scale: System Design, Challenges and Future Directions; Federated Learning: Strategies for Improving Communication Efficiency; Privacy-Preserving Machine Learning: Threats and Solutions; Overcoming Catastrophic Forgetting with Hard Attention to the Task。