Identity Inference from CLIP Models using Only Textual Data

大规模多模态模型（如CLIP）的广泛使用增加了有关个人可识别信息（PII）泄露的担忧。现有的CLIP模型中的身份推断方法，即检测用于训练CLIP模型的个人PII的存在，需要使用包括人物的文本描述和相应图像（例如人物的姓名和面部照片）在内的完整PII来查询模型。然而，这可能会导致图像的潜在隐私泄露，因为目标模型可能尚未看到该图像。此外，传统的成员推断攻击（MIAs）会训练影子模型来模仿目标模型的行为，这会产生高计算成本，尤其是对于大型CLIP模型。为了解决这些挑战，我们提出了CLIP模型中的文本单模态检测器（TUNI），这是一种新的ID推断方法，它1）仅使用文本数据查询目标模型；2）不需要训练影子模型。首先，我们开发了一个特征提取算法，由CLIP模型指导，从文本描述中提取特征。TUNI从随机生成的明显未用于训练的文本胡言乱语开始，并利用它们的特征向量来训练一组异常检测器。在推断过程中，将每个测试文本的特征向量馈入异常检测器，以确定个人PII是否在训练集中（异常）或不在训练集中（正常）。此外，如果在检测器中可用，TUNI还可以通过集成与测试个体相关联的真实图像来进一步加强。在各种CLIP模型架构和数据集上进行的广泛实验表明，TUNI仅使用文本数据就比基线表现更好。

本论文旨在解决大规模多模态模型（如CLIP）中个人身份信息泄露的问题。现有的身份推理方法需要使用包括人物文本描述和图像在内的个人身份信息进行查询，但这可能导致图像隐私的潜在泄露，同时训练阴影模型也会带来高计算成本。

本论文提出了一种基于文本的单模态检测器（TUNI），用于在不查询图像的情况下推断CLIP模型中的个人身份信息。TUNI利用CLIP模型指导下的特征提取算法，从文本描述中提取特征。在推理过程中，将每个测试文本的特征向量输入异常检测器，以确定该人的个人身份信息是否在训练集中。

本论文的亮点在于提出了一种不需要查询图像的身份推理方法，并且不需要训练阴影模型。此外，TUNI在各种CLIP模型架构和数据集上的实验表明，它比基线方法具有更好的性能。

最近在这个领域中，还有一些相关的研究，如：《Membership Inference Attacks against Large Language Models》、《Privacy-Preserving Text Classification with Learned False Data》等。