Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities

近年来，多模态理解模型和图像生成模型都取得了显著的进展。尽管这两个领域各自取得了成功，但它们的发展相对独立，形成了截然不同的架构范式：在多模态理解中，自回归（autoregressive）架构占据主导地位，而扩散（diffusion）模型则成为图像生成的核心技术。最近，人们对开发整合这些任务的统一框架产生了越来越浓厚的兴趣。GPT-4o 新能力的出现正是这一趋势的例证，展现了统一的可能性。然而，两个领域之间的架构差异带来了重大挑战。为了清晰概述当前在统一方向上的努力，我们提供了一项全面的综述，旨在为未来的研究提供指导。首先，我们介绍了多模态理解和文本到图像生成模型的基础概念及最新进展。接着，我们回顾了现有的统一模型，并将其分为三大主要架构范式：基于扩散的模型、基于自回归的模型，以及融合自回归与扩散机制的混合方法。对于每一类，我们都分析了相关工作的结构设计与创新点。此外，我们整理了专为统一模型设计的数据集和基准测试，为未来的探索提供了资源支持。最后，我们讨论了这一新兴领域面临的几个关键挑战，包括分词策略、跨模态注意力机制和数据问题。由于该领域仍处于早期发展阶段，我们预计会有快速的进步，并将持续更新本综述。我们的目标是激发更多研究，并为学术界提供有价值的参考。本综述的相关参考资料已托管在 GitHub 上（https://github.com/AIDC-AI/Awesome-Unified-Multimodal-Models）。

该论文试图解决多模态理解和图像生成领域之间的架构分裂问题，探索如何将两者统一到一个框架中。这是一个新兴的研究方向，随着GPT-4o等模型的出现，这一问题变得越来越重要。

论文的关键思路是通过系统性地回顾和分类当前的统一模型架构（包括扩散型、自回归型和混合型），揭示不同方法的优势与局限性，并提出跨模态集成的新可能性。相比现有研究，这篇论文更注重从架构设计角度出发，分析如何融合自回归和扩散机制以实现性能提升。

论文提供了一个全面的分类体系，涵盖三种主要的统一模型架构，并深入探讨了每种架构的设计细节和创新点。此外，它还整理了一系列针对统一模型的数据集和基准测试资源，为未来研究提供了实用工具。实验部分涉及多种数据集，但未明确提及是否开源代码。值得继续研究的方向包括改进跨模态注意力机制和开发高效的统一模型训练策略。

相关研究包括：1) CLIP系列工作，专注于文本-图像对齐；2) DALL·E及其后续版本，强调高质量图像生成；3) Flamingo模型，结合语言与视觉任务；4) M6和OFA模型，探索大规模预训练下的多模态任务；5) UniDiffuser，尝试将扩散模型扩展至多模态场景。这些研究共同推动了多模态学习的发展。