Image-of-Thought Prompting for Visual Reasoning Refinement in Multimodal Large Language Models

最近，Chain-of-Thought（CoT）和相关的基于推理的工作显著提高了大型语言模型（LLMs）在复杂推理任务中的性能。随着多模态大型语言模型（MLLMs）的发展，增强它们解决复杂多模态推理问题的能力是一个关键的前沿。然而，在CoT中加入多模态推理尚未得到深入研究。我们提出了图像思维（IoT）提示方法，帮助MLLMs逐步提取视觉推理。具体而言，IoT提示可以根据输入图像和问题自动设计关键的视觉信息提取操作。每一步视觉信息的精炼都会确定支持复杂视觉推理问题答案的具体视觉推理。除了文本CoT，IoT同时利用视觉和文本推理帮助MLLMs理解复杂的多模态信息。IoT提示已经在不同的MLLMs中改善了各种视觉理解任务的零样本视觉推理性能。此外，由IoT提示生成的逐步视觉特征解释阐明了视觉推理过程，有助于分析大型多模态模型的认知过程。

论文旨在解决Multimodal Large Language Models（MLLMs）在复杂多模态推理问题上的应用问题，提出了Image-of-Thought（IoT）提示方法来帮助MLLMs逐步提取视觉理由。

IoT提示方法可以根据输入图像和问题自动设计关键的视觉信息提取操作，每个视觉信息细化步骤都可以确定支持复杂视觉推理问题答案的具体视觉理由。IoT同时利用视觉和文本理由来帮助MLLMs理解复杂的多模态信息。

论文在不同的MLLMs上通过改进零-shot视觉推理性能展示了IoT提示方法的有效性。同时，IoT提示方法生成的逐步视觉特征解释有助于分析大型多模态模型的认知过程。

最近的相关研究包括Chain-of-Thought（CoT）和相关基于理性的工作，这些工作显著提高了LLMs在复杂推理任务中的性能。