Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces

扩散模型在生成单模态数据方面展现了卓越的性能，涵盖图像、视频和文本生成等多种任务。相比之下，通过扩散模型进行多模态数据的联合生成仍处于早期探索阶段。现有的方法高度依赖于外部预处理协议，例如分词器和变分自编码器，以将不同的数据表示统一为单一的单模态格式。这一过程对编码器和解码器的高准确性提出了严格要求，这在数据有限的应用中可能带来问题。为了解决这一限制，我们提出了一种新颖的框架，用于在任意状态空间上构建多模态扩散模型，从而实现不同模态间数据的原生联合生成。通过为每个模态引入一种创新的解耦噪声调度机制，我们使单一模型能够同时支持无条件生成和基于特定模态的条件生成。我们在文本-图像生成和混合类型表格数据合成任务中对这种方法进行了实证验证，结果表明其性能具有竞争力。

该论文试图解决多模态数据生成的问题，特别是如何在不依赖外部预处理工具（如编码器和解码器）的情况下，直接生成耦合的多模态数据。这是一个相对较新的问题，因为现有的扩散模型主要集中在单模态数据生成上。

论文提出了一种新颖的框架，允许在任意状态空间上构建多模态扩散模型。其核心创新点是引入了针对每种模态的独立噪声调度机制，这使得模型能够在单一架构中同时支持无条件和条件生成任务。相比现有方法，这种设计减少了对外部预处理工具的依赖，从而降低了对高质量编码器和解码器的需求。

论文通过实验证明了该方法在文本-图像生成和混合类型表格数据合成任务上的有效性，并展示了与现有技术相当的性能。实验使用了公开的数据集，但未提及代码是否开源。此外，论文提出的噪声调度机制为未来研究提供了新方向，例如探索更多复杂模态组合的可能性。

最近的相关研究包括：1)《Taming Transformers for High-Resolution Image Synthesis》探讨了结合Transformer和VAE进行高分辨率图像生成；2)《GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models》研究了基于文本引导的图像生成；3)《Diffusion Models Beat GANs on Image Synthesis》比较了扩散模型与GAN在图像生成中的表现。这些工作大多集中在单模态数据生成上，而本论文则专注于多模态联合生成。