Ingredients: Blending Custom Photos with Video Diffusion Transformers

本文提出了一种强大的框架，通过结合多个特定的身份（ID）照片和视频扩散Transformer（称为\texttt{Ingredients}），来定制化创建视频。总体而言，我们的方法由三个主要模块组成：(\textbf{i}) 一个面部提取器，它从全局和局部视角捕捉每个身份的多样的和精确的面部特征；(\textbf{ii}) 一个多尺度投影器，将面部嵌入映射到视频扩散Transformer中的图像查询的上下文空间；(\textbf{iii}) 一个ID路由器，它动态地组合并分配多个ID嵌入到相应的时间-空间区域。 借助精心策划的文本-视频数据集和多阶段训练协议，\texttt{Ingredients} 展现了卓越的性能，能够将定制的照片转化为动态且个性化的视频内容。定性评估突显了所提出方法的优势，将其定位为在基于Transformer的架构中更有效的生成视频控制工具的重要进展，相比现有方法有显著提升。数据、代码和模型权重已在以下网址公开提供：\url{https://github.com/feizc/Ingredients}。

该论文试图解决如何利用特定的身份照片定制个性化视频内容的问题。这是一个相对较新的问题，特别是在结合Transformer架构进行视频生成和控制方面。

关键思路是通过引入三个主要模块来实现这一目标：面部提取器、多尺度投影仪和ID路由器。这些模块分别用于捕捉面部特征、映射脸谱嵌入到图像查询的上下文空间，以及动态组合和分配多个ID嵌入到相应的时间-空间区域。与现有方法相比，这种方法更加精准地处理了面部特征，并且能够更好地将不同的身份信息融入到生成的视频中。

论文的亮点包括使用精心策划的文本-视频数据集和多阶段训练协议，展示了在转换自定义照片为动态个性化视频内容方面的优越性能。此外，作者提供了公开的数据、代码和模型权重，这有助于进一步的研究和发展。未来可以继续深入研究的方向包括改进面部特征捕捉技术，以及探索更多样化的应用场景。

最近在这个领域中，相关的研究包括《Text-to-Video Generation with Transformers》和《Personalized Video Creation Using Deep Learning Techniques》等。这些研究都致力于提高视频生成的质量和个人化程度，但本论文提出的框架在整合多种身份信息方面具有独特优势。