MHLR: Moving Haar Learning Rate Scheduler for Large-scale Face Recognition Training with One GPU

人脸识别（FR）由于利用大规模数据集而得到显著进展。现在，使用多个GPU在大规模数据集上训练深度FR模型已成为常见做法。事实上，计算能力已经成为深度学习领域的基础和必不可少的资源。如果没有足够的硬件资源，几乎不可能训练出深度FR模型。为了解决这一挑战，一些FR方法开始探索减少FR模型中全连接层时间复杂度的方法。与其他方法不同，本文提出了一种简单而高效的方法——Moving Haar Learning Rate（MHLR）调度器，用于在训练过程中及时准确地调整学习率。MHLR支持在只有一个GPU的情况下进行大规模FR训练，能够将模型加速到原来训练时间的四分之一，而且准确率只降低了1%以下。具体而言，MHLR只需要30个小时就能在包含超过1200万张人脸图像和60万个身份的WebFace12M数据集上训练出ResNet100模型。大量实验证明了MHLR的效率和有效性。

本文旨在解决大规模人脸识别模型训练时间复杂度高的问题，提出了一种简单有效的学习率调度方法。

Moving Haar Learning Rate (MHLR) 调度器能够在只有一个GPU的情况下支持大规模人脸识别模型的训练，将模型的训练时间缩短至原来的1/4，而精度只有1%的损失。

本文使用WebFace12M数据集进行了实验，证明了MHLR调度器的高效性和有效性。实验结果表明，MHLR只需要30小时就能训练ResNet100模型，该模型包含超过1200万张人脸图像和60万个身份信息。此外，该论文还提供了开源代码。

在人脸识别领域，目前已有一些旨在降低训练时间复杂度的方法，但本文提出的MHLR调度器是一种简单而高效的方法。