MetaMorph: Multimodal Understanding and Generation via Instruction Tuning

在这项工作中，我们提出了视觉预测指令调优（VPiT）——这是一种简单而有效的视觉指令调优扩展方法，能够使预训练的语言模型迅速转变为一个能够生成文本和视觉标记的统一自回归模型。VPiT 教会语言模型从以指令跟随格式整理的图像和文本数据序列中预测离散的文本标记和连续的视觉标记。我们的实证研究揭示了 VPiT 的几个引人入胜的特性：(1) 视觉生成能力作为改进视觉理解的自然副产品出现，并且可以通过少量生成数据高效解锁；(2) 尽管我们发现理解和生成是相互有益的，但理解数据对这两种能力的贡献比生成数据更有效。基于这些发现，我们训练了我们的 MetaMorph 模型，在视觉理解和生成方面均取得了具有竞争力的表现。在视觉生成方面，MetaMorph 可以利用从语言模型预训练中获得的世界知识和推理能力，克服其他生成模型常见的失败模式。我们的结果表明，语言模型可能具备强大的“先验”视觉能力，这些能力可以通过相对简单的指令调优过程高效地适应视觉理解和生成。

该论文旨在解决如何使预训练的语言模型（LLM）具备生成文本和视觉内容的能力。这是一个相对较新的问题，特别是在如何通过简单的指令调优来实现这一目标方面。

论文提出了一种称为Visual-Predictive Instruction Tuning (VPiT) 的方法，该方法通过扩展视觉指令调优，使预训练的LLM能够预测离散的文本标记和连续的视觉标记。这种方法不仅提高了模型的视觉理解能力，还使其具备了生成视觉内容的能力。

1. 实验表明，视觉生成能力是视觉理解能力提高的自然副产品，并且可以通过少量的生成数据高效解锁。 2. 理解数据对提升视觉理解和生成能力的效果优于生成数据。 3. 训练出的MetaMorph模型在视觉理解和生成任务上表现出色，能够利用LLM预训练获得的世界知识和推理能力，克服其他生成模型常见的失败模式。 4. 该方法提供了一种相对简单的方式来适应LLM的视觉能力，而不需要复杂的架构或大量的数据。

1. "CLIP: Connecting Text and Images" - 该研究通过多模态预训练模型连接文本和图像，但主要关注于理解而非生成。 2. "DALL-E: Creating Images from Text" - DALL-E 是一个基于Transformer的模型，专注于从文本生成图像，但其训练过程较为复杂。 3. "Flamingo: A Visual Language Model for Multimodal Applications" - Flamingo 结合了视觉和语言模型，但在生成能力方面仍有局限性。 4. "Aligning Text and Image Representations via Contrastive Learning" - 该研究通过对比学习对齐文本和图像表示，但主要关注于理解任务。