FairViT: Fair Vision Transformer via Adaptive Masking

Vision Transformer（ViT）在各种计算机视觉任务中取得了出色的表现，并展示了其巨大的潜力。ViT在实际任务中的广泛应用需要深入了解模型的社会影响。然而，大多数基于ViT的工作并没有考虑公平性，而且不清楚直接应用面向CNN的去偏算法到ViT是否可行。此外，以前的工作通常为了实现公平性而牺牲了准确性。因此，我们的目标是开发一种算法，在不牺牲公平性的情况下提高准确性。在本文中，我们提出了FairViT，这是一个新颖的准确且公平的ViT框架。为此，我们引入了一种新颖的距离损失，并在注意力层上部署自适应的公平感知掩码，这些掩码会随着模型参数的更新而更新。实验结果表明，\sys可以实现比其他替代方案更好的准确性，即使在竞争性的计算效率方面也是如此。此外，\sys取得了可观的公平性结果。

本论文旨在提出一种新的准确且公平的Vision Transformer（ViT）框架，以解决现有ViT模型在公平性方面的不足。

论文提出了一种新的距离损失和自适应公平感知掩码的方法，用于ViT的注意力层更新，以提高准确性并保持公平性。

论文提出的FairViT框架在准确性和公平性方面都表现出色，并且具有竞争性的计算效率。实验使用了多个数据集，并且开源了代码。

最近的相关研究包括：Towards Fairness in Visual Recognition: Effective Strategies for Bias Mitigation（在视觉识别中追求公平性：有效的偏差缓解策略）和Fairness-Aware Vision Transformer（公平感知的Vision Transformer）。