AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement

面部动作单元（AU）的强度在量化细粒度表情行为方面起着关键作用，这是进行面部表情操作的有效条件。然而，公开可用的包含多个AU强度注释的数据集仍然非常有限，通常只涵盖了少数受试者。这种限制对于图像中的AU强度操作存在解缠问题，导致研究人员不得不使用其他具有预训练AU强度估计器的大型数据集来获得伪标签。为了解决这个问题并充分利用AU强度的手动注释进行精确操作，我们引入了AUEditNet。我们提出的模型在仅使用18个受试者进行训练的情况下，在12个AU上实现了令人印象深刻的强度操作。通过利用双分支架构，我们的方法实现了面部属性和身份的全面解缠，而不需要额外的损失函数或使用大批量大小。这种方法提供了一个潜在的解决方案，以实现所需的面部属性编辑，尽管数据集的受试者数量有限。我们的实验证明了AUEditNet在编辑AU强度方面的优越准确性，证实了它在有限受试者群体内解缠面部属性和身份的能力。AUEditNet允许通过强度值或目标图像进行调节，消除了为特定面部表情合成构建AU组合的需要。此外，作为下游任务的AU强度估计验证了真实和编辑图像之间的一致性，确认了我们提出的AU强度操作方法的有效性。

本文试图解决的问题是针对公开数据集中AU强度注释的限制，提出一种仅使用18个受试者进行训练的AU强度编辑网络，以实现精确的面部表情编辑。

本文提出了一种双分支架构的AU编辑网络，可以有效地实现面部属性和身份的全面解缠，从而实现精确的AU强度编辑。

本文的实验结果表明，所提出的AU编辑网络可以在仅使用18个受试者进行训练的情况下，实现对12个AU强度的精确编辑。此外，该网络还可以根据强度值或目标图像进行条件控制，无需构建特定面部表情合成的AU组合。本文的方法还可以进行AU强度估计，以验证真实和编辑图像之间的一致性。

与本文相关的研究包括基于深度学习的面部表情识别和合成，以及AU强度估计和编辑。例如，文章《Deep Learning-Based Facial Expression Recognition: A Comprehensive Review》和《Deep Learning-Based Facial Expression Synthesis: A Comprehensive Review》。