Unified Multimodal Discrete Diffusion

能够理解和生成多模态内容的多模态生成模型目前主要由自回归（AR）方法主导，这些方法按照从左到右或从上到下的顺序处理 token。这些模型可以联合处理图像、文本、视频和音频，用于各种任务，例如图像描述生成、问答和图像生成。在本研究中，我们探索离散扩散模型作为联合文本和图像领域的统一生成框架，这建立在它们在文本生成领域的最新成功之上。与 AR 模型相比，离散扩散模型具有多项优势，包括对生成样本的质量与多样性有更好的控制能力、能够在文本和图像领域同时进行联合多模态修复（inpainting），以及通过引导实现更强的生成可控性。基于这些优势，我们提出了首个统一多模态离散扩散模型（UniDisc），它能够联合理解和生成文本与图像，适用于多种下游任务。我们将 UniDisc 与多模态 AR 模型进行了比较，通过扩展分析表明，UniDisc 在性能和推理计算效率方面均优于 AR 模型，并且在可控性、可编辑性、修复能力和推理时间与生成质量之间的灵活权衡方面表现出色。代码和更多可视化结果可在 https://unidisc.github.io 获得。

该论文试图解决如何构建一个统一的多模态生成模型，能够同时理解和生成文本与图像。相比传统的自回归（AR）模型，研究者希望探索离散扩散模型在多模态任务中的潜力，包括图像生成、文本生成、联合编辑和修复等任务。这是一个具有挑战性的问题，因为需要在质量与多样性之间找到平衡，并实现跨模态的灵活性。

论文的关键思路是利用离散扩散模型（Discrete Diffusion Models）作为统一的生成框架，替代传统的自回归方法。这种模型通过逐步去噪的过程生成样本，提供了更好的质量与多样性控制能力，以及更强的可控性和编辑能力。相比AR模型的顺序生成方式，离散扩散模型能够在推理时提供更高的灵活性，例如支持联合多模态修复（如同时修复文本和图像）。

1. 提出了首个统一多模态离散扩散模型UniDisc，能够处理文本和图像的生成与理解任务。 2. 实验表明，UniDisc在性能和推理效率上优于现有的多模态AR模型。 3. 支持多种高级功能，如多模态修复、可控生成和灵活的质量-多样性权衡。 4. 提供了代码和可视化结果（https://unidisc.github.io），便于复现和进一步研究。 5. 值得继续深入的方向包括扩展到其他模态（如音频、视频）和更大规模的模型训练。

最近的相关研究包括： 1. DALL·E系列（DALL·E, DALL·E 2, DALL·E 3）：专注于文本到图像生成的自回归和非自回归模型。 2. Imagen和Parti：基于扩散模型的高质量图像生成研究。 3. M6和Flamingo：大规模预训练多模态模型，主要采用自回归架构。 4. VQ-GAN + CLIP：结合量化GAN和对比学习进行图像生成。 5. GLIDE和Stable Diffusion：将扩散模型应用于文本到图像生成的任务。