论文标题：PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal

论文链接：https://arxiv.org/abs/2105.12324

代码链接：https://github.com/wtjiang98/PSGAN

作者单位：北京航空航天大学  & 中国科学院 & 新加坡国立大学

表现SOTA！性能优于BeautyGAN等网络，并构建MT-Wild 高分辨率图像妆容迁移数据集，代码和数据集即将开源！

在本文中，我们同时处理化妆迁移和卸妆任务，目的是将化妆从参考图像转移到源图像，并分别从化妆图像中移除化妆。现有的方法在受限的情况下已经取得了很大的进步，但是对于它们来说，要在姿势和表情差异较大的图像之间迁移妆容，或者处理脸颊上的腮红或鼻子上的高光等妆容细节仍然非常具有挑战性。另外，它们几乎不能控制在转移过程中的化妆程度或在输入人脸上转移指定部位。在这项工作中，我们提出了PSGAN ++，它能够执行保留细节的化妆迁移和有效的化妆去除的功能。对于化妆迁移，PSGAN ++使用“化妆蒸馏网络”提取化妆信息，该信息被嵌入到具有空间意识的化妆矩阵中。我们还设计了一个“注意力化妆变形”模块，该模块指定源图像中的化妆如何从参考图像变形，并指定化妆细节损失以监督所选化妆细节区域内的模型。另一方面，对于卸妆，PSGAN ++应用了身份提取网络将身份信息与化妆图像一起嵌入到身份矩阵中。最后，将获得的化妆/身份矩阵馈送到风格迁移网络，该样式转移网络能够编辑特征图以实现化妆转移或移除。为了评估PSGAN ++的有效性，我们收集了Wild数据集中的Makeup Transfer数据集，其中包含具有不同姿势和表情的图像；而Makeup Transfer High-Resolution数据集则包含高分辨率图像。实验证明，即使在姿势/表情差异较大的情况下，PSGAN ++不仅可以以精细的化妆细节获得最新的效果，而且还可以执行部分​​或程度可控的化妆迁移。

内容中包含的图片若涉及版权问题，请及时与我们联系删除