Identity Overlap Between Face Recognition Train/Test Data: Causing Optimistic Bias in Accuracy Measurement

这段摘要讲的是模式识别的一个基本原则，即训练集和测试集之间的重叠会导致对准确率的乐观估计。深度卷积神经网络用于人脸识别时，是通过训练集中人物身份的N路分类来进行训练的。通常使用测试集中的图像对，如LFW、CALFW、CPLFW、CFP-FP和AgeDB-30，计算平均10折分类准确率来估计准确度。由于训练集和测试集是独立组装的，所以任何给定的测试集中的图像和身份也可能出现在任何给定的训练集中。特别是，我们的实验揭示了LFW测试集系列和MS1MV2训练集之间惊人的身份和图像重叠程度。我们的实验还揭示了MS1MV2中的身份标签噪声。我们比较了同样大小的MS1MV2子集在与LFW不重叠和重叠的身份的情况下所达到的准确率，以揭示乐观偏差的大小。使用来自LFW系列的更具挑战性的测试集，我们发现对于更具挑战性的测试集，乐观偏差的大小更大。我们的结果突显了人脸识别研究中缺乏和需要身份不重叠的训练和测试方法论。

论文旨在研究人脸识别中训练集和测试集的重叠对准确性估计的影响，并探索身份不重叠的训练和测试方法的必要性。

通过比较身份重叠和不重叠的训练集在不同测试集上的准确率，揭示了训练集和测试集重叠导致的乐观估计偏差，并强调了身份不重叠的训练和测试方法的必要性。

实验使用了LFW、CALFW、CPLFW、CFP-FP和AgeDB-30等数据集进行测试，发现身份重叠对准确率估计产生了乐观偏差，并且MS1MV2训练集存在身份标签噪声。研究结果强调了身份不重叠的训练和测试方法的必要性。

近期相关研究包括《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》、《FaceNet: A Unified Embedding for Face Recognition and Clustering》等。