Private Attribute Inference from Images with Vision-Language Models

随着大型语言模型（LLMs）在我们的日常任务和数字交互中变得普遍，相关的隐私风险越来越受到关注。虽然LLM隐私研究主要集中在模型训练数据泄露方面，但最近已经表明，模型能力的增强使LLMs能够从以前未见过的文本中进行准确的侵犯隐私的推断。随着多模态视觉语言模型（VLMs）的兴起，能够理解图像和文本，一个相关的问题是这些结果是否可以转移到以前未开发的在线发布的良性图像领域。为了调查新兴VLMs的图像推理能力所带来的风险，我们编制了一个图像数据集，其中包含图像所有者个人属性的人工注释标签。为了了解VLMs带来的额外隐私风险，我们的数据集包含的图像中，可推断的私人属性不是来自人类的直接描绘。在这个数据集上，我们评估了7个最先进的VLM的推理能力，发现它们可以以高达77.6％的准确率推断出各种个人属性。令人担忧的是，我们观察到准确性与模型的一般能力成比例，这意味着未来的模型可能被误用为更强大的对手，从而建立了开发足够防御措施的必要性。

评估视觉-语言模型对个人属性推断的隐私风险，尤其是在涉及非人类对象的情况下。

使用人类注释的图像数据集评估了7种最先进的视觉-语言模型在推断个人属性方面的能力，发现它们可以以高达77.6％的准确率推断出各种个人属性，而且准确率与模型的一般能力相关。

论文使用了一个新的数据集，其中推断个人属性的能力不是直接从人类的描绘中得出的。实验结果表明，视觉-语言模型可以从非人类对象的图像中推断出个人属性，这具有潜在的隐私风险。

最近的相关研究主要集中在评估语言模型对隐私数据的泄露风险，而本文则是首次评估了视觉-语言模型在推断个人属性方面的隐私风险。