Visual CoT: Unleashing Chain-of-Thought Reasoning in Multi-Modal Language Models

本文提出了Visual CoT，这是一种新颖的流程，利用了多模态大语言模型（MLLMs）的推理能力，通过整合视觉Chain-of-Thought（CoT）推理来实现。虽然MLLMs在各种视觉任务中表现出了潜力，但它们经常缺乏可解释性，并且难以处理复杂的视觉输入。为了解决这些挑战，我们提出了一个多轮处理流程，动态聚焦于视觉输入并提供可解释的思路。我们收集并引入了Visual CoT数据集，其中包括373k个问题-答案对，注释了中间的边界框，突出显示回答问题所必需的关键区域。重要的是，引入的基准测试能够评估MLLMs在需要特定局部区域识别的场景中的表现。广泛的实验证明了我们的框架的有效性，并揭示了更好的推理策略。Visual CoT数据集、基准测试和预训练模型可用于促进这一方向的进一步研究。

本论文旨在解决多模态大语言模型在处理复杂视觉输入时缺乏可解释性和推理能力的问题，提出了一种新的视觉推理框架Visual CoT，并引入了Visual CoT数据集。

Visual CoT框架采用多轮处理，动态关注视觉输入，并提供可解释的推理过程。Visual CoT数据集包含373k个问题-答案对，注释了中间的边界框以突出回答问题所必需的关键区域。

论文提出的Visual CoT框架能够解决多模态大语言模型在处理复杂视觉输入时缺乏可解释性和推理能力的问题，并且引入的Visual CoT数据集能够评估需要特定局部区域识别的场景。实验结果表明，该框架有效，并且能够为更好的推理策略提供启示。Visual CoT数据集、基准测试和预训练模型可用于促进进一步的研究。

在这个领域中，最近还有其他相关研究，例如《ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks》、《VisualBERT: A Simple and Performant Baseline for Vision and Language》等。