X-InstructBLIP: A Framework for aligning X-Modal instruction-aware representations to LLMs and Emergent Cross-modal Reasoning

本文介绍了一种简单而有效的跨模态框架，建立在冻结的大型语言模型（LLMs）之上，通过将视觉编码器与最先进的LLMs对齐，实现了在2D视觉推理任务中的通用能力。该框架可以集成各种模态而无需进行广泛的模态特定定制。为了便于指令模态微调，我们以自动且可扩展的方式收集高质量的指令微调数据，其中包括24K个音频QA样本和250K个3D QA样本。利用指令感知表示，我们的模型在无需广泛的模态特定预训练或定制的情况下，表现与领先的同类产品相当。此外，我们的方法展示了在单独训练每个模态投影的情况下，跨两个或更多输入模态的推理能力。为了研究模型的跨模态能力，我们提出了一项新的判别式跨模态推理（DisCRn）评估任务，包括9K个音频视频QA样本和28K个图像3D QA样本，要求模型在不同的输入模态之间进行判别式推理。

本文旨在通过建立简单而有效的跨模态框架来整合各种模态，以解决视觉推理任务中的问题。同时，通过自动化和可扩展的方式收集高质量的指令调整数据，以便进行指令模态微调。

本文提出了一种建立在冻结的LLMs之上的跨模态框架，可以将各种模态集成起来，而无需进行广泛的模态特定自定义。通过利用指令感知表示，我们的模型可以在不需要广泛的模态特定预训练或自定义的情况下与领先的同行进行比较。

本文的亮点包括：1.提出了一种新的跨模态框架，可以整合各种模态。2.通过自动化和可扩展的方式收集高质量的指令调整数据。3.提出了一个新的评估任务，可以评估模型的跨模态能力。4.实验结果表明，我们的方法可以在不需要广泛的模态特定预训练或自定义的情况下进行跨模态推理。

最近在这个领域中，其他相关的研究包括：1.《ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised Image-Text Data》2.《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》3.《Cross-modal Pre-training with Large-scale Weakly-aligned Data》