FlashFace: Human Image Personalization with High-fidelity Identity Preservation

本研究提出了FlashFace，这是一个实用工具，用户可以通过提供一个或几个参考脸部图像和文本提示来轻松地即时个性化自己的照片。我们的方法与现有的人类照片定制方法不同，具有更高保真度的身份保留和更好的指导遵循，这得益于两种微妙的设计。首先，我们将脸部身份编码成一系列特征图，而不是像以前的方法一样只用一个图像标记，这使得模型可以保留更多参考脸部的细节（例如疤痕、纹身和脸型）。其次，我们引入了一种分离集成策略，在文本到图像生成过程中平衡文本和图像指导，缓解了参考脸部和文本提示之间的冲突（例如将成年人个性化为“孩子”或“老人”）。广泛的实验结果证明了我们的方法在各种应用中的有效性，包括人类图像个性化、根据语言提示进行脸部交换、将虚拟角色变成真实人物等。项目页面：https://jshilong.github.io/flashface-page。

FlashFace论文试图解决的问题是如何通过提供一张或几张参考面部图像以及文本提示来实现用户快速自定义他们的照片，同时保留更高保真度的身份信息和更好的指示跟随。

论文的关键思路是将面部身份编码为一系列特征图，而不是像以前的方法一样只编码为一个图像令牌，这样可以使模型保留更多参考面部的细节，并且引入了一种分离的集成策略来平衡文本和图像指导，从而缓解参考面部和文本提示之间的冲突。

论文使用了各种应用程序进行广泛的实验，包括人类图像个性化、根据语言提示进行面部交换、使虚拟角色变成真实人物等。论文的亮点包括更高的身份保留度、更好的指示跟随和更好的文本和图像指导平衡。FlashFace项目页面提供了开源代码和数据集。

在这个领域中，最近的相关研究包括《Generative Adversarial Networks》、《Image-to-Image Translation with Conditional Adversarial Networks》和《StyleGAN》等。