Measuring machine learning harms from stereotypes: requires understanding who is being harmed by which errors in what ways

随着机器学习应用的增多，我们需要了解它们可能造成的伤害。然而，目前的公平度量很少基于人类心理体验中的伤害。借鉴社会心理学中的刻板印象，我们以图像搜索中的性别刻板印象为例，研究人们如何对机器学习错误做出反应。首先，我们使用调查研究来表明，并非所有的机器学习错误都反映了刻板印象，也不是同样具有害处的。然后，在实验研究中，我们随机向参与者展示强化、违反和中立的刻板印象机器学习错误。我们发现，强化刻板印象的错误会引起更多主观上有害的体验，而对认知信念、态度或行为的影响最小。这种经验上的伤害对女性的影响比男性更大。然而，某些违反刻板印象的错误对男性的经验上的伤害更大，可能是由于对男性气概的威胁被感知到。我们得出结论，伤害不能是公平度量的唯一指导，我们提出了一个因人而异的、细致入微的视角，取决于谁经历了什么样的伤害以及为什么。

探讨机器学习中的公平性问题，并提出基于人类心理经验的公平度量标准。

通过社会心理学中的刻板印象理论，研究了图像搜索中的性别刻板印象对机器学习误差的影响，并发现刻板印象加强的误差会导致更多的主观伤害体验，而对认知信念、态度或行为的影响较小。性别刻板印象对女性的影响更大，而某些违反性别刻板印象的误差对男性的主观伤害更大，可能是因为对男性的男子气概造成了威胁。

论文通过实验研究了机器学习误差对人类主观伤害体验的影响，提出了基于人类心理经验的公平度量标准，对解决机器学习中的公平性问题具有重要意义。

相关研究包括：1. 《机器学习中的公平性问题：分类器公平性和数据集偏差》；2. 《机器学习中的公平性问题：一种新的公平性定义和算法》；3. 《关于机器学习的公平性的文献综述》等。