Towards Real-world Video Face Restoration: A New Benchmark

在过去几年中，图像的盲目面部修复（BFR）已经取得了显著进展，而实际的视频面部修复（VFR）则更具挑战性，因为它涉及到更复杂的面部动作，如移动凝视方向和面部方向，目前仍未解决。典型的BFR方法是在私人合成的数据集或自己收集的真实低质量面部图像上进行评估，这些数据集在覆盖真实世界视频帧方面存在局限性。在本研究中，我们引入了一个名为FOS的新的真实世界数据集，其中包含“全面、遮挡和侧面”面部分类法，主要来自视频帧，以研究当前方法在视频中的适用性。与现有的测试数据集相比，FOS数据集涵盖了更多种类的退化情况，并涉及到更复杂的情景中的面部样本，这有助于更全面地重新审视当前的面部修复方法。在建立了数据集之后，我们对最先进的BFR方法和视频超分辨率（VSR）方法进行了基准测试，以全面研究当前的方法，并确定它们在VFR任务中的潜力和局限性。此外，我们通过利用主观用户研究，研究了常用的图像质量评估（IQA）指标和面部IQA（FIQA）指标的有效性。通过提供广泛的实验结果和详细的分析，我们从当前BFR和VSR方法的成功和失败中获得了深刻的见解。这些结果也给当前的面部修复方法带来了挑战，我们希望这能够刺激未来VFR研究的进一步发展。

本论文旨在解决视频人脸修复（VFR）中面部运动更复杂的问题，以及评估当前人脸修复方法在真实场景下的适用性。

论文提出了新的真实世界数据集FOS，评估了当前最先进的BFR方法和视频超分辨率（VSR）方法的表现，并研究了常用的图像质量评估（IQA）指标和面部IQA（FIQA）指标的有效性。

论文使用了新的真实世界数据集FOS，包含更多样化的退化情况和更复杂的场景，综合评估了当前BFR和VSR方法的表现和局限性。论文还进行了主观用户研究，评估了常用的IQA和FIQA指标的有效性。

近期相关研究包括：1）基于深度学习的人脸修复方法，如Generative Adversarial Networks（GANs）；2）图像超分辨率方法，如SRCNN和ESPCN；3）图像质量评估方法，如SSIM和PSNR。