Exploring MLLM-Diffusion Information Transfer with MetaCanvas

多模态学习近年来在视觉理解方面取得了快速进展，这主要得益于多模态大语言模型（MLLMs），它们以强大的大语言模型作为认知核心。然而在视觉生成领域，这些强大的核心模型通常仅被用作扩散模型的全局文本编码器，导致其大部分推理与规划能力未能得到充分利用。这就造成了一种脱节现象：当前的多模态大语言模型虽然能够解析复杂的布局、属性以及知识密集型场景，却难以生成具有同等精确性和结构化控制的图像或视频。为此，我们提出了MetaCanvas，这是一种轻量级框架，使MLLMs能够在空间和时空潜在空间中直接进行推理与规划，并与扩散生成器实现紧密交互。我们在三种不同的扩散模型骨干网络上对MetaCanvas进行了实证实现，并在六项任务上开展了评估，包括文本到图像生成、图文到视频生成、图像/视频编辑以及上下文内视频生成，这些任务均要求精确的布局控制、稳健的属性绑定以及依赖复杂推理的调控能力。实验结果表明，MetaCanvas始终优于基于全局条件控制的基线方法，说明将MLLMs视为潜在空间中的规划器，是弥合多模态理解与生成之间差距的一条有前景的路径。

当前多模态大语言模型（MLLMs）在视觉理解方面表现出色，但在视觉生成任务中通常仅被用作文本编码器，无法充分利用其强大的推理与规划能力。这导致了理解与生成之间的能力鸿沟：MLLMs能解析复杂场景，却难以生成具有精确布局、属性绑定和结构化控制的图像或视频。该问题尚未被充分解决，属于新兴且重要的研究方向。

MetaCanvas 提出将 MLLMs 直接作为在空间与时空潜在空间中的推理与规划模块，而不仅仅是全局条件输入。通过轻量级框架让 MLLM 与扩散模型紧密协作，在潜在空间中进行细粒度控制，从而实现对生成过程的结构化指导。这一思路创新地将 MLLM 从‘感知者’转变为‘规划者’，弥合了理解与生成之间的差距。

作者在三种不同的扩散模型骨干上实现了 MetaCanvas，并在六项任务上进行了评估，包括文生图、图文生视频、编辑以及上下文内视频生成，验证了其在布局控制、属性绑定和推理密集型任务上的优越性。实验设计全面，涵盖多种生成模态与复杂控制需求。论文强调了无需修改原始 MLLM 或扩散模型结构，具备良好的可扩展性和实用性。目前未明确提及代码是否开源，但框架的轻量化特性使其易于复现。未来值得深入探索其在具身智能、复杂指令驱动生成和跨模态规划中的应用。

1. Flamingo: Visual Language Models for Few-Shot Learning 2. PaLM-E: An Embodied Multimodal Language Model 3. Video-ChatGPT: Towards Detailed Video Understanding in Large Vision-Language Models 4. Show-OO: Progressive Hint-Driven Reasoning with Object Semantics for Referring Image Segmentation 5. DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation 6. ControlNet: Adding Conditional Control to Text-to-Image Diffusion Models