Leveraging CLIP for Inferring Sensitive Information and Improving Model Fairness

在基于深度学习的视觉识别模型中，不同子人群之间的性能差异已知存在，但是以往的研究大多假设已知敏感属性标签来解决公平性问题。为了克服这种依赖，以前的策略涉及使用单独的学习结构来暴露和调整差异。在这项工作中，我们探索了一种新的范式，它不需要敏感属性标签，并且通过利用视觉语言模型CLIP作为丰富的知识源来推断敏感信息，避免了额外的训练需求。我们提出了基于图像和属性指定的语言嵌入的相似性导出的样本聚类，并评估它们与真实属性分布的对应关系。我们通过重新采样和增强表现不佳的聚类来训练目标模型。多个基准偏见数据集上的大量实验显示，该模型相对于现有基线模型具有明显的公平性收益，这表明CLIP可以提取由语言引发的具有区分性的敏感信息，并用于促进模型公平性。

解决问题的是深度学习视觉识别模型中存在的公平性差异问题，且不需要敏感属性标签。

利用视觉语言模型CLIP作为知识源来推断敏感信息，并通过重新采样和增强表现不佳的聚类来训练目标模型，从而提高模型的公平性。

论文通过使用CLIP模型来推断敏感信息，不需要敏感属性标签，避免了额外的训练。实验结果表明，该方法比现有基线模型具有更好的公平性表现。

与该论文相关的研究包括：AIF360、Fairlearn等。