Contrastive Learning of Person-independent Representations for Facial Action Unit Detection

面部动作单元（AU）检测一直受到AU注释不足的困扰，其目的是对面部图像中存在的AU进行分类。本文旨在通过在对比学习范式中从大量未标记的面部视频中学习AU表示来缓解这个数据稀缺问题。我们将自我监督的AU表示学习信号分为两个方面：（1）AU表示应在短视频剪辑内逐帧有区别；（2）来自不同身份但显示类似面部AU的面部帧应具有一致的AU表示。为了实现这些目标，我们提出了在视频剪辑内对AU表示进行对比学习的方法，并设计了跨身份重构机制来学习人员独立的表示。特别地，我们采用基于边界的时间对比学习范式来感知由连续输入面部帧组成的剪辑中的时间AU一致性和演化特征。此外，跨身份重构机制有助于将来自不同身份但显示类似AU的面部推向潜在嵌入空间中的接近位置。在三个公共AU数据集上的实验结果表明，所学习的AU表示对于AU检测是有区分性的。我们的方法优于其他对比学习方法，并显著缩小了自我监督和监督AU检测方法之间的性能差距。

本论文旨在通过对大量未标记面部视频的对比学习来学习面部动作单元（AU）表示，以缓解AU注释不足的问题。

论文提出了对比学习方法，通过视频帧内的AU表示判别性和不同身份下的相似AU表示一致性来学习AU表示。

论文使用了大量未标记的面部视频进行自监督学习，并使用三个公共AU数据集进行了实验验证。结果表明，该方法优于其他对比学习方法，并显著缩小了自监督和监督AU检测方法之间的性能差距。

最近的相关研究包括使用对比学习进行自监督学习的其他工作，以及使用监督学习进行AU检测的方法。