Alignment Calibration: Machine Unlearning for Contrastive Learning under Auditing

机器去学习提供了可行的解决方案，可以撤销某些训练数据对预训练模型参数的影响。现有方法提供了分类和生成模型的去学习配方。然而，一类重要的机器学习模型——对比学习（CL）方法被忽视了。在本文中，我们首先提出了对比学习机器去学习（MUC）的框架，并改进了现有方法以填补这一空白。此外，我们观察到几种方法是平庸的去学习器，现有的审计工具可能不足以让数据所有者验证对比学习中的去学习效果。因此，我们提出了一种称为对齐校准（AC）的新方法，通过明确考虑对比学习的特性并优化新的审计度量标准，以便轻松验证去学习。我们在SimCLR、MoCo和CLIP上将AC与基线方法进行了实证比较。我们观察到AC解决了现有方法的缺点：（1）实现了最先进的性能并近似于精确的去学习（重新训练）；（2）允许数据所有者通过黑盒审计清晰地可视化去学习所引起的效果。

本论文旨在解决对比学习模型中的机器去学习问题。此前的研究已经提出了分类和生成模型的去学习方法，但对于对比学习模型的去学习方法还未有系统的研究。

本论文提出了对比学习模型的机器去学习框架，并针对对比学习模型的特性提出了一种新的去学习方法——Alignment Calibration，以达到最优化去学习效果和便于黑盒审核的目的。

本文提出的Alignment Calibration方法在SimCLR、MoCo和CLIP数据集上实现了最优化的去学习效果，并且更便于数据拥有者进行黑盒审核。此外，本文还提供了开源代码。

在对比学习模型的机器去学习方面，此前的研究相对较少。相关的研究包括《Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles》和《Unlearning for Data Privacy in Machine Learning: A Survey》等。