Datawhale干货 

AI写真：InstantID，开源：小红书


马斯克与郭德纲，一位是相声界的顶流，一位是科技界的大咖。

想象一下，他们的形象融合，会是什么样？

小红书最新推出的开源项目 —— InstantID 让这种“跨界融合”成为可能。

来瞧瞧，“马德纲”有惊艳到你吗？



InstantID 是一个基于扩散模型的图像生成解决方案，能实现从单一参考图像到多样化风格化写真的快速生成。

它能让自由地将两张面孔进行合成，利用 ID 插值创造出全新的形象。

惊艳的是，它可以在不需要任何训练的情况下，根据一张人脸照片和一段文本提示，生成具有个性化风格和高保真度的 AI 写真。


写真效果非常逼真，能保持人脸特征的统一，风格融合得很好。
InstantID 开源后迅速在 GitHub 斩获 5000+ 星标，霸榜HuggingFace Space Trending榜首。
开源地址：
https://github.com/InstantID/InstantID

深度学习三巨头之一 Yann LeCun 也点赞该项目。



不来体验试试，都说不过去了，用户教程先奉上！

一张自拍 + 一张参考姿势图（可选）+ Prompt（可选） + 风格选择 = 你想要生成的 AI 写真


如何快速上手呢？Demo 演示一波:

1. 上传带有人脸的图片。对于多人图像，InstantID 只会检测最大的脸部。请确保脸部不要太小，并且没有明显遮挡或模糊。


2. （可选）上传另一张图像作为参考姿势。如果没有上传，InstantID 将使用第一张图像来提取姿势。如果在步骤 1 中使用了裁剪后的脸部，建议上传它以提取新的姿势。


3. （可选）可以选择多个 ControlNet 模型来控制生成过程。默认设置是仅使用 IdentityNet。ControlNet 模型包括姿势骨架、精巧和深度。方便您可以调整每个 ControlNet 模型的强度以控制生成过程。


4. （可选）输入文本 Prompt提示词。就像所有文生图应用中所做的那样。


5. 点击 Submit 按钮开始定制写真。


6. 与朋友分享定制写真，尽情享受吧！

除了线上体验，InstantID 可以作为一个可适配的插件，能够与流行的预训练文本到图像扩散模型（如 SD 1.5 和 SDXL）无缝集成，兼容性佳。


如图所述， InstantID 方法主要包含三个关键组成部分：
（1）将弱对齐的 CLIP 特征替换为强语义的人脸特征；
（2）人脸图像的特征在 Cross-Attention 中作为 Image Prompt 嵌入；
（3）提出 IdentityNet 来对人脸施加强语义和弱空间的条件控制，从而增强 ID 的保真度以及文本的控制力。
InstantID 保持了良好的文本编辑能力，使 ID 能够丝滑地嵌入到各种风格当中。加装饰、改发色、换套装，都毫无问题。

实验结果表明，InstantID 不仅超越目前基于单张图片特征进行嵌入的方法（IP-Adapter-FaceID），还与 ROOP、LoRAs 等方法在特定场景下不分伯仲，成本还低。


InstantID 彻底颠覆大家的想象，它摒弃了多图参考和复杂的调整步骤。
在人像面部特征的保持上，InstantID 表现出色，其一致性和自然度远超传统的 LoRA 模型。

InstantID 提供了丰富的创意玩法，如 ID 插值、多风格融合、定制夸张表情、动漫主题写真等，这些都极大地拓宽了用户的创作空间，让图像生成变得更加灵活和个性化。


快来加入这场创意的盛宴，体验 InstantID 带来的无限乐趣！欢迎 Star！
论文标题：
InstantID: Zero-shot Identity-Preserving Generation in Seconds
论文地址：
https://arxiv.org/abs/2401.07519
代码地址：
https://github.com/InstantID/InstantID
项目地址：
https://instantid.github.io
Demo 体验：
https://huggingface.co/spaces/InstantX/InstantID

开源项目，”点赞”在看↓

内容中包含的图片若涉及版权问题，请及时与我们联系删除