Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control

目前的人脸重建和交换方法主要依赖于GAN框架，但是最近的关注点转向了预训练扩散模型，因为它们具有更优秀的生成能力。然而，训练这些模型需要大量的资源，而且结果还没有达到令人满意的性能水平。为了解决这个问题，我们引入了Face-Adapter，这是一个专为预训练扩散模型设计的高精度、高保真度的人脸编辑适配器。我们观察到，人脸重建/交换任务本质上涉及目标结构、ID和属性的组合。我们的目标是充分分离这些因素的控制，以实现一个模型中的两个任务。具体来说，我们的方法包括：1）一个空间条件生成器，提供精确的地标和背景；2）一个即插即用的身份编码器，通过转换器解码器将面部嵌入到文本空间中；3）一个属性控制器，集成了空间条件和详细属性。与完全微调的人脸重建/交换模型相比，Face-Adapter在运动控制精度、ID保留能力和生成质量方面实现了可比或甚至更好的性能。此外，Face-Adapter与各种稳定扩散模型无缝集成。

这篇论文旨在解决人脸编辑中GAN框架和预训练扩散模型的资源密集性和性能问题。论文提出了Face-Adapter，一个高效且有效的适配器，旨在为预训练扩散模型提供高精度和高保真度的人脸编辑。

Face-Adapter的关键思路是通过足够解耦的控制目标结构、ID和属性的因素来实现人脸编辑的高精度和高保真度。

论文表明，Face-Adapter在运动控制精度、ID保留能力和生成质量方面与完全微调的人脸编辑模型相比具有可比性甚至更好。Face-Adapter还可以与各种StableDiffusion模型无缝集成。

最近的相关研究包括使用GAN框架和预训练模型进行人脸编辑的方法，以及使用扩散模型进行图像生成和编辑的方法。