Sum of Group Error Differences: A Critical Examination of Bias Evaluation in Biometric Verification and a Dual-Metric Measure

生物识别验证系统（BV）往往在不同人口群体之间表现出准确性差异，导致BV应用程序中出现偏见。评估和量化这些偏见对于确保BV系统的公平性至关重要。然而，BV中现有的偏见评估指标存在局限性，例如仅关注匹配或非匹配错误率，忽视表现水平介于最佳和最差表现水平之间的人口群体上的偏见，并忽略存在的偏见程度。本文对BV中现有偏见评估指标的局限性进行了深入分析，并通过实验分析，展示了它们的上下文适用性、优点和局限性。此外，本文介绍了一种新的通用BV偏见评估度量，“群组误差差总和（SEDG）”。我们在受控合成数据集上的实验结果展示了使用现有指标和我们自己提出的度量来量化人口偏见的有效性。我们讨论了偏见评估指标在一组模拟人口偏见场景中的适用性，并提供了基于场景的指标建议。我们的代码公开在\url{https://github.com/alaaobeid/SEDG}上。

本论文旨在解决生物识别系统中不同人群之间的准确性差异，以及因此导致的偏见问题。现有的偏见评估指标存在一些局限性，如忽略了性能水平介于最佳和最差之间的人群的偏见，并忽略了偏见的大小。

本论文提出了一种新的偏见评估指标，即“群组错误差之和（SEDG）”，旨在解决现有指标的局限性。该指标通过实验分析得到了验证，并在一组模拟的人口偏见场景中得到了应用。

本论文的亮点包括提出了一种新的偏见评估指标，通过实验分析验证了该指标的有效性，并提供了场景化的指标建议。此外，该论文还开源了代码，并使用了控制合成数据集进行实验。值得进一步研究的是如何将该指标应用到实际生物识别系统中。

最近在这个领域中，还有一些相关的研究。例如，“Assessing and Mitigating Bias in Facial Recognition Systems”（评估和减轻面部识别系统中的偏见）和“Reducing Bias in Biometric Systems: A Case Study on Face Recognition”（减少生物识别系统中的偏见：以面部识别为例）等。