UniCode: Learning a Unified Codebook for Multimodal Large Language Models

本文提出了一种新颖的方法——UniCode，它是多模态大语言模型（MLLMs）领域内的一种方法，可以学习一个统一的码书，以有效地标记视觉、文本和其他类型的信号。这种创新解决了现有MLLMs的一个关键限制：它们依赖于仅限于文本的码书，这限制了MLLM在多模态情境下生成图像和文本的能力。为此，我们提出了一种语言驱动的迭代训练范式，结合一种我们称之为“图像解压缩”的上下文预训练任务，使我们的模型能够解释压缩的视觉数据并生成高质量的图像。统一的码书使我们的模型能够将视觉指令调整扩展到非语言生成任务。此外，UniCode适应于各种堆叠量化方法，以将视觉信号压缩为更紧凑的标记表示。尽管在训练过程中使用的参数和数据量明显较少，UniCode在视觉重建和生成方面表现出有希望的能力。它还在各种VQA基准测试中取得了与领先的MLLMs相当的性能。

本论文提出了一种名为UniCode的新型多模态大语言模型（MLLM）方法，旨在解决现有MLLM的关键限制：它们依赖于仅限于文本的代码本，限制了MLLM在多模态上下文中生成图像和文本的能力。

该论文的关键思路是学习一个统一的代码本，以有效地标记视觉、文本和其他类型的信号。该方法采用了一种语言驱动的迭代训练范式，结合了一种名为“图像解压缩”的上下文预训练任务，使模型能够解释压缩的视觉数据并生成高质量的图像。此外，UniCode可适应各种堆叠量化方法，以将视觉信号压缩为更紧凑的标记表示。

该论文的亮点包括：使用语言驱动的迭代训练范式和上下文预训练任务，实现了视觉重建和生成，同时在多种VQA基准测试中取得了与领先的MLLM相当的性能。

最近在这个领域中的相关研究包括：《VisualBERT: A Simple and Performant Baseline for Vision and Language》、《VL-BERT: Pre-training of Generic Visual-Linguistic Representations》等。