Thinking with Images for Multimodal Reasoning: Foundations, Methods, and Future Frontiers

最近在多模态推理方面的进展，很大程度上得益于文本化的“思维链”（Chain-of-Thought, CoT）这一范式，即模型通过语言进行推理。然而，这种以文本为中心的方法将视觉信息视为静态的初始背景，在丰富的感知数据与离散的符号思维之间造成了一个根本性的“语义鸿沟”。人类的认知往往超越语言，把视觉当作一种动态的心理草图工具。如今，人工智能领域也正在经历类似的演进，标志着一个根本性的范式转变：从仅仅“思考图像”的模型转向能够真正“与图像一起思考”的模型。这一新兴范式的特点在于，模型在推理过程中将视觉信息作为中间步骤来使用，使视觉从一种被动的输入转变为一种动态、可操作的认知工作空间。 本综述通过描绘智能沿着认知自主性不断增强的一条发展轨迹，揭示了这一演变过程，并将其归纳为三个关键阶段：从外部工具探索，到程序化操控，再到内在想象。为了系统梳理这一快速发展的领域，本文做出了四个主要贡献：（1）阐明“与图像共思考”这一范式的基本原理及其三阶段框架；（2）全面回顾构成该路线图各阶段的核心方法；（3）分析关键的评估基准和具有变革意义的应用场景；（4）指出当前面临的重要挑战，并展望未来有潜力的研究方向。通过提供这一结构化的综述，我们旨在为未来构建更强大且与人类认知对齐的多模态人工智能指明清晰的发展路径。

论文试图解决多模态推理中视觉与语言之间的‘语义鸿沟’问题，即当前模型将视觉作为静态输入，而缺乏将视觉信息动态地融入到推理过程中的能力。这是一个新兴且重要的问题，尤其是在推动AI系统更接近人类认知方式的背景下。

提出了一种新的多模态推理范式——‘与图像共思考’（think with image），强调将视觉信息作为中间推理步骤而非仅初始输入。该范式构建了一个三阶段的发展框架：从外部工具探索、程序化操作到内在想象，标志着视觉从被动输入转变为主动可操作的认知空间。

1. 提出了一个系统性的三阶段认知自主性发展框架 2. 全面综述了各阶段的核心方法与技术进展 3. 分析了关键评估基准和具有变革潜力的应用场景 4. 识别了未来研究的重大挑战和潜在方向 5. 为构建更强大、更贴近人类的多模态AI提供了清晰路线图

1. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 2. Vision-and-Language Pretraining: A Survey and Outlook 3. Neural Symbolic Reasoning with Visual Question Answering 4. Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks 5. Programmable Multimodal Neural Computing for Vision-Language Tasks