Leveraging Synthetic Data for Generalizable and Fair Facial Action Unit Detection

面部动作单元（AU）检测是客观面部表情分析的基本模块。监督学习方法需要大量昂贵的手动标注。有限的标记数据也在性别方面缺乏多样性，这可能影响模型的公平性。本文提出使用合成生成的数据和多源域自适应（MSDA）来解决标记数据稀缺和受试者多样性的问题。具体而言，我们建议通过将真实面部表情转移到合成角色身上，通过合成面部表情重新定向来生成多样的数据集。然后，我们使用MSDA将AU检测知识从真实数据集和合成数据集转移到目标数据集。我们提出了配对矩匹配（PM2）来匹配具有相同面部表情的配对真实和合成数据的特征，而不是对齐不同域的整体分布。为了进一步提高性别公平性，PM2将真实数据的特征与女性和男性合成图像的特征进行匹配。我们的结果表明，合成数据和所提出的模型提高了AU检测性能和性别公平性，展示了其解决野外AU检测的潜力。

本论文旨在解决面部行为单位（AU）检测中标记数据有限、性别多样性不足的问题，并提出使用合成数据和多源域自适应（MSDA）来解决这些问题。

论文提出了通过将真实面部表情转移到合成化身上生成多样化数据集，并使用PM2来匹配真实数据的特征与男女合成图像的特征，从而实现AU检测性能和性别公平性的提高。

论文的实验结果表明，使用合成数据和提出的模型可以提高AU检测性能和性别公平性，具有解决AU检测的潜力。

相关研究包括基于深度学习的AU检测方法、基于迁移学习的AU检测方法以及使用合成数据的AU检测方法等。