Content-Style Decoupling for Unsupervised Makeup Transfer without Generating Pseudo Ground Truth

在化妆迁移任务中，缺乏真实的目标来指导模型训练是主要问题之一。大多数现有方法通过合成伪造的基准真实值（PGTs）来解决这个问题。然而，生成的PGTs往往是次优的，它们的不精确性最终会导致性能下降。为了缓解这个问题，在本文中，我们提出了一种新颖的内容-风格分离的化妆迁移（CSD-MT）方法，它以纯无监督的方式工作，因此消除了生成PGTs的负面影响。具体而言，基于频率特征分析，我们假设人脸图像的低频（LF）成分与其化妆风格信息更相关，而高频（HF）成分与其内容细节更相关。这个假设允许CSD-MT通过频率分解来解耦每个人脸图像中的内容和化妆风格信息。之后，CSD-MT通过分别最大化转移结果和输入图像之间这两种信息的一致性来实现化妆迁移。还引入了两个新设计的损失函数来进一步提高迁移性能。广泛的定量和定性分析显示了我们CSD-MT方法的有效性。我们的代码可在https://github.com/Snowfallingplum/CSD-MT上获得。

解决问题：本文旨在解决化妆迁移任务中缺乏真实目标的问题，并提出一种无监督的方法来消除生成伪目标的负面影响。

关键思路：本文提出了一种内容-风格分离的化妆迁移方法(CSD-MT)，通过频率分解将面部图像的内容和化妆风格信息分离，然后通过最大化转移结果和输入图像之间的这两种信息的一致性来实现化妆迁移。

其他亮点：本文通过设计新的损失函数进一步提高了转移性能，并在大量的定量和定性分析中展示了CSD-MT方法的有效性。作者还提供了开源代码。

相关研究：在化妆迁移领域，许多方法都使用合成伪目标(PGTs)来解决缺乏真实目标的问题。本文的方法通过无监督的方式消除了PGTs的负面影响。与此同时，还有一些相关研究，如“BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network”和“Deep Makeup Transfer: A Unified Framework for Transferring Makeup Style from Face to Face”。