Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models

大型语言模型（LLMs）通过更多的推理展示了增强的能力和可靠性，从链式思维提示演进到像OpenAI o1这样的产品级解决方案。尽管为改进LLM推理做出了各种努力，但在视觉-语言任务中，高质量的长链推理数据和优化的训练管道仍探索不足。在本文中，我们介绍了Insight-V，这是早期尝试：1）可扩展地生成复杂多模态任务所需的长且稳健的推理数据；2）一种有效的训练管道，以增强多模态大型语言模型（MLLMs）的推理能力。具体而言，为了在无需人工劳动的情况下创建长且结构化的推理数据，我们设计了一个两步管道，采用逐步策略生成足够长且多样的推理路径，并使用多粒度评估方法确保数据质量。我们观察到，直接用这种长且复杂的推理数据监督MLLMs并不能产生理想的推理能力。为了解决这个问题，我们设计了一个多代理系统，包括一个专门进行长链推理的推理代理和一个经过训练可以判断和总结推理结果的摘要代理。我们进一步结合了迭代DPO算法，以提高推理代理的生成稳定性和质量。基于流行的LLaVA-NeXT模型和我们更强的基础MLLM，我们在需要视觉推理的具有挑战性的多模态基准测试中展示了显著的性能提升。得益于我们的多代理系统，Insight-V在以感知为中心的多模态任务中也能轻松保持或提升性能。

该论文试图解决多模态大型语言模型（MLLMs）在视觉-语言任务中的长链推理能力不足的问题。这是一个重要的研究方向，因为目前尽管有各种努力提高LLMs的推理能力，但在高质量长链推理数据和优化训练管道方面仍存在不足。

论文的关键思路是通过设计一个两步生成管道来大规模生产长且结构化的推理数据，并通过一个多粒度评估方法确保数据质量。此外，为了解决直接监督MLLMs时长链推理效果不佳的问题，提出了一种多代理系统，包括一个专注于长链推理的推理代理和一个用于评估和总结推理结果的总结代理。这一方案创新地结合了多代理系统和迭代DPO算法，以增强推理代理的生成稳定性和质量。

论文通过设计的多代理系统和改进的训练方法，在多个挑战性的多模态基准测试中展示了显著的性能提升。特别是基于流行的LLaVA-NeXT模型，Insight-V不仅在需要视觉推理的任务上表现优异，还能保持或提高在感知为中心的多模态任务上的性能。此外，论文详细描述了实验设计，使用了多种数据集，并提供了开源代码，为后续研究提供了坚实的基础。

近期在多模态推理领域的一些相关研究包括： 1. "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" - 这篇论文探讨了通过链式思考提示来提高LLMs的推理能力。 2. "Multi-Modal Chain-of-Thought Reasoning in Large Language Models" - 研究了如何在多模态任务中应用链式思考推理。 3. "Improving Visual Reasoning in Multi-Modal Models with Self-Supervised Learning" - 探讨了自监督学习在提高多模态模型视觉推理能力中的作用。 4. "Enhancing Long-Chain Reasoning in Vision-Language Tasks with Multi-Agent Systems" - 讨论了多代理系统在长链推理中的应用。