Dimba: Transformer-Mamba Diffusion Models

本文介绍了一种新的文本到图像扩散模型Dimba，它采用了独特的混合架构，将Transformer和Mamba元素结合起来。具体而言，Dimba顺序堆叠的块在Transformer和Mamba层之间交替，通过交叉注意力层集成条件信息，从而利用两种架构范例的优势。我们研究了几种优化策略，包括质量调整、分辨率适应，并确定了大规模图像生成所必需的关键配置。该模型的灵活设计支持特定资源限制和目标的场景。适当缩放时，Dimba相对于传统的纯Transformer基准测试具有更高的吞吐量和较小的内存占用。广泛的实验表明，Dimba在图像质量、艺术渲染和语义控制方面与基准测试具有可比性。我们还在实验中发现了架构的几个有趣特性。我们的发现强调了大规模混合Transformer-Mamba架构在扩散模型的基础阶段的潜力，预示着文本到图像生成的美好未来。

本论文旨在提出一种新的文本到图像生成模型，解决文本到图像生成中存在的问题，如何同时实现高质量、高效率和语义控制。

论文提出了一种新的混合架构，将Transformer和Mamba元素结合起来，通过交叉注意力层整合条件信息，充分发挥两种架构范式的优点，从而提高了文本到图像生成的效率和质量。

论文在实验中使用了多个优化策略，包括质量调整、分辨率适应等，同时发现了模型的一些有趣特性。该模型具有灵活的设计，可以应对特定资源限制和目标，能够在大规模图像生成中发挥重要作用。实验结果表明，该模型在图像质量、艺术呈现和语义控制方面与基准模型相当。论文还提供了数据集和开源代码，值得进一步研究。

在文本到图像生成领域，最近的相关研究包括Generative Adversarial Networks for Text-to-Image Synthesis、AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks等。