EMMA: Your Text-to-Image Diffusion Model Can Secretly Accept Multi-Modal Prompts

近期图像生成技术的进展使得可以从文本条件中生成高质量的图像。然而，当面临多模态条件，例如文本与参考外观相结合时，现有方法往往难以有效地平衡多个条件，通常会偏好某种模态。为了解决这个挑战，我们介绍了EMMA，这是一种新颖的图像生成模型，可接受多模态提示，并建立在最先进的文本到图像扩散模型ELLA之上。EMMA通过创新的多模态特征连接器设计，无缝地将附加模态与文本一起整合，以有效地使用特殊的注意机制来整合文本和补充模态信息，从而指导图像生成。通过冻结原始T2I扩散模型中的所有参数，并仅调整一些附加层，我们发现一个有趣的结果，即预训练的T2I扩散模型可以秘密地接受多模态提示。这个有趣的属性便于易于适应不同的现有框架，使EMMA成为一种灵活而有效的工具，可用于生成个性化和上下文感知的图像甚至视频。此外，我们还介绍了一种策略，将学习到的EMMA模块组装起来，同时基于多个模态生成图像，从而消除了使用混合多模态提示进行额外训练的需要。广泛的实验证明了EMMA在维护生成图像的高保真度和细节方面的有效性，展示了它作为先进的多模态条件图像生成任务的强大解决方案的潜力。

论文旨在解决多模态条件下图像生成的问题，现有方法难以有效地平衡多个条件，通常会偏向某个模态。同时，论文还试图验证一个假设：预训练的T2I扩散模型可以秘密地接受多模态提示。

论文提出了一种名为EMMA的新型图像生成模型，它可以无缝地将其他模态与文本一起整合，通过创新的多模态特征连接器设计有效地整合文本和其他模态信息，并使用特殊的注意机制来指导图像生成。通过调整一些额外的层而不改变原始T2I扩散模型的所有参数，论文揭示了一个有趣的发现：预训练的T2I扩散模型可以秘密地接受多模态提示。这使得EMMA可以轻松适应不同的现有框架，成为生成个性化和上下文感知图像甚至视频的灵活而有效的工具。

论文的亮点包括EMMA模型的多模态特征连接器设计、使用预训练的T2I扩散模型接受多模态提示的发现、以及将学习的EMMA模块组装起来同时生成多模态条件下的图像的策略。论文还展示了EMMA在生成高保真度和细节丰富的图像方面的有效性，并提供了开源代码和使用的数据集。

最近的相关研究包括《Generative Adversarial Networks》、《Progressive Growing of GANs for Improved Quality, Stability, and Variation》等。