Generative Visual Instruction Tuning

我们建议使用机器生成的指令跟踪数据来改善一个大型多模态模型的零样本能力，并增加生成和图像编辑任务的支持。我们通过使用GPT-4V和现有的图像生成和编辑数据集来策划一个新的多模态指令跟踪集，从而实现这一目标。使用这个指令集和现有的LLaVA-Finetune指令集进行视觉理解任务，我们生成了一个名为GenLLaVA的生成式大语言和视觉助手。GenLLaVA是通过使用三种类型的大型预训练模型（LLaMA用于语言建模，SigLIP用于图像文本匹配，StableDiffusion用于文本到图像生成）通过指令微调来构建的。我们的模型展示了与LLaVA相当的视觉理解能力，并且还展示了与原生多模态模型（如Unified-IO 2）竞争力的结果，为有效地重复使用现有的多模态模型来构建先进的通用视觉助手铺平了道路。我们开源了我们的数据集、代码库和模型检查点，以促进进一步的研究和应用。

本文旨在通过利用机器生成的指令跟踪数据，改进大型多模态模型的零样本能力，并支持生成和图像编辑任务。

本文通过使用GPT-4V和现有的图像生成和编辑数据集，筛选出一个新的多模态指令跟踪数据集，并将其与现有的LLaVA-Finetune指令集相结合，通过指令微调的策略，结合LLaMA、SigLIP和StableDiffusion三种类型的大型预训练模型，构建了GenLLaVA，一种生成式大语言和视觉助手，其视觉理解能力与LLaVA相当，并且在与本地多模态模型（如Unified-IO 2）的竞争中表现出色。

本文开源了数据集、代码库和模型检查点，为进一步的研究和应用提供了支持。实验设计合理，使用了多个数据集，并且与其他相关研究相比，本文的思路有新意。

最近的相关研究包括：Unified-IO 2、LLaVA和SigLIP等。