Privacy-Aware Visual Language Models

本文旨在推动我们对视觉语言模型（VLMs）如何处理涉及隐私敏感信息的理解，这是一个至关重要的问题，因为这些技术成为日常生活中不可或缺的一部分。为此，我们介绍了一个新的基准PrivBench，其中包含来自8个敏感类别的图像，例如护照或指纹。我们在这个基准上评估了10个最先进的VLMs，并观察到它们普遍对隐私的理解有限，突显了模型改进的重要领域。基于此，我们介绍了PrivTune，一个新的指令调整数据集，旨在为VLMs提供有关视觉隐私的知识。通过在这个小数据集上调整两个预训练的VLMs，TinyLLaVa和MiniGPT-v2，我们实现了它们识别敏感内容的强大能力提升，甚至超过了GPT4-V。同时，我们还表明，隐私调整只对VLMs在VQA等标准基准上的性能产生了最小的影响。总的来说，本文提出了一个关键挑战，即使VLMs能够安全地处理现实世界的数据，并提供了一个简单的配方，迈出了构建具有隐私意识的VLMs的第一步。

本文旨在推进我们对视觉语言模型（VLM）如何处理涉及隐私信息的理解，这是一个重要的问题，因为这些技术正在成为日常生活的一部分。

本文介绍了一个新的基准测试PrivBench，其中包含来自8个敏感类别的图像，例如护照或指纹。作者评估了10个最先进的VLM在这个基准测试上的表现，并观察到隐私理解普遍有限，突出了模型改进的重要领域。作者提出了PrivTune，这是一个新的指令调整数据集，旨在为VLM提供有关视觉隐私的知识。通过在这个小数据集上调整两个预训练的VLM，TinyLLaVa和MiniGPT-v2，作者实现了强大的提升，使它们能够识别敏感内容，甚至超过了GPT4-V。同时，作者还表明，隐私调整只对VLM在标准基准测试（如VQA）的表现产生了极小的影响。这篇论文为使VLM能够安全地处理真实世界的数据提出了一个关键挑战，并提供了一个简单的配方，迈出了构建隐私感知VLM的第一步。

本文的亮点包括：引入了一个新的基准测试PrivBench，旨在评估VLM在处理涉及隐私信息的图像时的表现；提出了一个新的指令调整数据集PrivTune，旨在为VLM提供有关视觉隐私的知识；通过在PrivTune上调整两个预训练的VLM，在识别敏感内容方面取得了很好的成果；作者还表明，隐私调整只对VLM在标准基准测试（如VQA）的表现产生了极小的影响。

最近在这个领域中，一些相关的研究包括：《A Study of Privacy in Vision-and-Language Pretraining》、《Privacy-Preserving Vision-Language Representation Learning》。