Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models

在视觉语言理解领域，模型在解释和推理视觉内容方面的熟练程度已成为众多应用的基石。然而，对于大型视觉语言模型（LVLMs）中的视觉编码器来说，提取有助于语言模型响应的问题定制特征是具有挑战性的。此外，现有LVLMs的常见做法是利用较低分辨率的图像，这限制了视觉识别的能力。我们的工作引入了Chain-of-Spot（CoS）方法，我们将其描述为交互式推理，这是一种增强特征提取的新方法，它专注于图像中与提出的问题或指令相对应的关键兴趣区域（ROI）。这种技术允许LVLMs访问更详细的视觉信息，而不改变原始图像分辨率，从而提供多粒度图像特征。通过将Chain-of-Spot与指令跟随LLaVA-1.5模型集成，图像推理的过程在各种多模态数据集和基准测试中始终提高性能，而不需要花哨的东西，并实现了新的最先进的结果。我们的实证结果表明，LVLMs理解和推理视觉内容的能力显著提高，为更复杂的视觉指令跟随应用铺平了道路。代码和模型可在https://github.com/dongyh20/Chain-of-Spot上获得。

论文旨在提高大型视觉语言模型（LVLMs）的视觉识别和推理能力，解决现有模型在提取有用特征方面存在的挑战，并通过Chain-of-Spot方法提供多粒度图像特征。

Chain-of-Spot方法是一种交互式推理技术，通过关注问题或指令中的关键兴趣区域（ROI）来增强特征提取，从而提供更详细的视觉信息，而不会改变原始图像分辨率。

论文使用Chain-of-Spot方法与instruct-following LLaVA-1.5模型相结合，实现了跨多模态数据集和基准的性能提升，并取得了新的最优结果。研究还开放了代码和模型。

近期的相关研究包括：《VisualBERT: A Simple and Performant Baseline for Vision and Language》、《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》等。