FairCLIP: Harnessing Fairness in Vision-Language Learning

公平性在深度学习中尤为重要，特别是在医疗保健领域，因为这些模型会影响诊断和治疗决策。尽管公平性在仅有视觉领域已经得到了研究，但医疗视觉语言（VL）模型的公平性因医疗VL数据集稀缺而未被探索。为了弥补这一研究空白，我们介绍了第一个公平的视觉语言医学数据集Harvard-FairVLMed，该数据集提供了详细的人口属性、基本事实标签和临床记录，以便深入研究VL基础模型的公平性。利用Harvard-FairVLMed，我们对两个广泛使用的VL模型（CLIP和BLIP2）进行了全面的公平性分析，这些模型在自然和医疗领域都进行了预训练，涉及四个不同的保护属性。我们的结果突出显示了所有VL模型中的显著偏见，其中亚洲人、男性、非西班牙裔和西班牙语是种族、性别、种族和语言等保护属性的首选子群。为了减轻这些偏见，我们提出了FairCLIP，这是一种基于最优输运的方法，通过减少整体样本分布与每个人口群体对应的分布之间的Sinkhorn距离，实现了性能和公平性之间的有利平衡。作为其类别中第一个VL数据集，Harvard-FairVLMed有潜力促进开发既具有道德意识又具有临床效果的机器学习模型的进展。我们的数据集和代码可在https://ophai.hms.harvard.edu/datasets/harvard-fairvlmed10k上获得。

论文旨在解决深度学习中的公平性问题，特别是在医疗保健领域中，公平性对诊断和治疗决策具有重要影响。作者使用Harvard-FairVLMed数据集进行了公平性分析，并提出了一个基于最优输运的方法来减少偏差。

论文的关键思路是使用Harvard-FairVLMed数据集进行公平性分析，并提出了一个基于最优输运的方法来减少偏差。

Harvard-FairVLMed是第一个用于研究公平性的医疗视觉语言数据集。论文使用该数据集进行了公平性分析，并提出了一个名为FairCLIP的方法来减少偏差。作者发现所有的VL模型都存在显著的偏差，并提出了一种解决方案。论文的代码和数据集都是开源的。

最近的相关研究包括：《Fairness in visual recognition: A systematic literature review》、《Fairness in Machine Learning: A Survey》等。