SQ-LLaVA: Self-Questioning for Large Vision-Language Assistant

最近视觉语言模型的进展表明，在视觉指导调整后，视觉语言任务的泛化能力显著提高。然而，连接预训练的视觉编码器和大型语言模型之间的差距成为整个网络的瓶颈。为了改善跨模态对齐，现有工作通常考虑更多视觉指导数据，涵盖更广泛的视觉任务，以微调模型以进行问答，但这些数据的获取成本很高。然而，图像包含丰富的上下文信息，但这些信息在很大程度上未被充分利用。本文首先尝试利用视觉指导数据中被忽视的上下文，训练模型进行自监督“学习”，如何提出高质量的问题。通过这种方式，我们引入了一个新的框架，名为SQ-LLaVA：自我提问的大型视觉语言助手。SQ-LLaVA在分析视觉线索和先前的语言知识的同时，表现出在生成灵活而有意义的与图像相关的问题方面的熟练水平，这标志着一个高度泛化的视觉理解水平。此外，将SQ-LLaVA微调到更高质量的指导数据上，与传统的视觉指导微调方法相比，显示出一致的性能提升。这种改进突显了自我提问技术在实现对各种上下文中视觉内容的更深入和更细致的理解方面的功效。

本文旨在解决视觉语言模型中预训练视觉编码器与大型语言模型之间的差距问题，提出了一种名为SQ-LLaVA的自我提问框架，通过利用视觉指令数据中的上下文信息，使模型能够自我学习如何提出高质量的问题，以实现对视觉内容的更深入理解和更细致的理解。

通过自我提问的方式，利用视觉指令数据中的上下文信息，训练模型自我学习如何提出高质量的问题，以实现对视觉内容的更深入理解和更细致的理解，从而提高视觉语言模型的泛化能力。

本文提出了一种名为SQ-LLaVA的自我提问框架，使模型能够自我学习如何提出高质量的问题；实验结果表明，与传统的视觉指令调整方法相比，SQ-LLaVA在更高质量的指令数据上的表现有了持续的改进；本文使用了多个数据集进行实验，并且开源了代码。

近期的相关研究包括：1）ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks；2）VisualBERT: A Simple and Performant Baseline for Vision and Language；3）LXMERT: Learning Cross-Modality Encoder Representations from Transformers。