AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement

面部动作单元（AU）的强度在量化精细表情行为方面起着至关重要的作用，这是面部表情操作的有效条件。然而，公开可用的包含多个AU强度注释的数据集仍然非常有限，往往只涉及少数受试者。由于解缠问题，这种限制对于图像中的AU强度操作构成了挑战，导致研究人员不得不求助于其他具有预训练AU强度估计器的大型数据集以获取伪标签。为了解决这一限制并充分利用AU强度的手动注释进行精确操作，我们介绍了AUEditNet。我们提出的模型在仅使用18个受试者的情况下，实现了对12个AU的令人印象深刻的强度操作。利用双分支架构，我们的方法实现了面部属性和身份的全面解缠，而不需要额外的损失函数或大批量实现。这种方法提供了一个潜在的解决方案，以实现所需的面部属性编辑，尽管数据集的受试者数量有限。我们的实验证明了AUEditNet在编辑AU强度方面具有优越的准确性，证实了其在有限的受试者群体内解缠面部属性和身份的能力。AUEditNet允许通过强度值或目标图像进行条件化，消除了为特定面部表情合成构建AU组合的需求。此外，作为下游任务的AU强度估计验证了真实和编辑图像之间的一致性，确认了我们提出的AU强度操作方法的有效性。

本文旨在解决公开数据集中AU强度注释有限的问题，提出了一种仅使用18个受试者训练的双分支神经网络模型AUEditNet，以实现对12个AU的强度编辑。

AUEditNet采用双分支架构，实现了面部属性和身份的全面解耦，无需额外的损失函数或大批量的实现。它可以通过强度值或目标图像进行条件控制，并且不需要构建特定面部表情合成的AU组合。

论文使用了AFLW、BP4D、DISFA等公开数据集进行了实验，并在编辑AU强度方面取得了优异的准确度。AUEditNet还可以进行AU强度估计，验证了其对真实图像和编辑图像的一致性。此外，该论文提出的方法可以在有限的受试者池中实现所需的面部属性编辑。

相关研究包括：1.《Deep Facial Action Unit Recognition from Partially Labeled Data》；2.《Facial Action Unit Intensity Estimation using Ordinal Information》；3.《Facial Action Unit Intensity Regression with Semantic Attention》等。