Stand-In: A Lightweight and Plug-and-Play Identity Control for Video Generation

生成符合用户指定身份的高保真人类视频在生成式人工智能领域中具有重要意义，但同时也面临诸多挑战。现有方法通常依赖过多的训练参数，且与其他AIGC工具缺乏兼容性。本文中，我们提出了Stand-In，这是一种轻量级、即插即用的视频生成身份保持框架。具体而言，我们在预训练的视频生成模型中引入了一个条件图像分支，通过带有条件位置映射的受限自注意力机制实现身份控制，并且仅需约2000对数据即可快速完成学习。尽管仅引入并训练了约1%的额外参数，我们的框架在视频质量和身份保持方面均取得了优异的效果，优于其他全参数训练方法。此外，我们的框架还可无缝集成到其他任务中，例如主体驱动的视频生成、姿态参考视频生成、风格化以及换脸等任务。

论文试图解决在生成与用户指定身份匹配的高质量人类视频时所面临的挑战，包括现有方法依赖过多训练参数以及与其他AIGC工具缺乏兼容性的问题。

论文提出了一种名为Stand-In的轻量级、即插即用框架，通过向预训练视频生成模型中引入条件图像分支来实现身份保留。关键思路是利用受限的自注意力机制和条件位置映射进行身份控制，并仅需2000对数据即可快速学习。

1. 尽管仅训练约1%的额外参数，框架在视频质量和身份保留方面仍优于全参数训练方法。 2. 框架可以无缝集成到其他任务中，如主体驱动的视频生成、姿态参考视频生成、风格化和人脸交换。 3. 实验设计表明该方法在身份保留和视频质量方面具有卓越性能，但未提及具体数据集和开源代码情况。 4. 值得进一步研究的方向包括将框架扩展到更多任务以及探索更广泛的兼容性。

1. Diffusion Models for Video Generation: Recent Advances and Challenges 2. Identity-Preserving Video Generation via Adversarial Training 3. Plug-and-Play Architectures for Modular AI Generation Systems 4. Efficient Fine-Tuning of Large-Scale Pretrained Models 5. Cross-Modal Video Generation with Limited Data