IDAdapter: Learning Mixed Features for Tuning-Free Personalization of Text-to-Image Models

利用稳定扩散技术生成个性化肖像已成为一种强有力而值得注意的工具，使用户能够基于其特定提示创建高保真度、自定义的角色头像。然而，现有的个性化方法面临着挑战，包括测试时间微调、需要多个输入图像、身份保存度低以及生成结果多样性有限等。为了克服这些挑战，我们引入了IDAdapter，这是一种无需微调的方法，可增强单张面部图像的个性化图像生成中的多样性和身份保存度。IDAdapter通过文本和视觉注入以及面部身份损失的组合将个性化概念整合到生成过程中。在训练阶段，我们将特定身份的多个参考图像的混合特征纳入其中，以丰富与身份相关的内容细节，引导模型生成与之前的作品相比更具多样性的风格、表情和角度的图像。广泛的评估证明了我们方法的有效性，实现了生成图像的多样性和身份保真度。

本文旨在解决现有个性化头像生成方法存在的问题，如测试时微调、需要多个输入图像、身份保留度低以及生成结果多样性有限等。

本文提出了一种无需微调的个性化头像生成方法IDAdapter，通过文本和视觉注入以及面部身份损失将个性化概念整合到生成过程中，从而增强生成图像的多样性和身份保留度。在训练阶段，将来自特定身份的多个参考图像的混合特征纳入模型，以丰富与身份相关的内容细节，指导模型生成比以前更具多样性的风格、表情和角度的图像。

本文提出的IDAdapter方法在生成图像的多样性和身份保留度方面表现出色，无需测试时微调，只需要一个输入图像即可。实验结果表明，与现有方法相比，IDAdapter能够生成更多样化、身份保留度更高的图像。

近期相关研究包括：《StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery》、《GPT2-Similarity-Classifier: A Transfer-Learning Approach for Personalized Image Captioning》、《Towards High-Fidelity Face Completion with Generative Local Neural Fields》等。