ViDoRAG: Visual Document Retrieval-Augmented Generation via Dynamic Iterative Reasoning Agents

从视觉丰富的文档中获取信息仍然是传统检索增强生成（RAG）方法面临的一个重大挑战。现有的基准测试主要集中在基于图像的问答（QA），忽视了在密集视觉文档中有效检索、理解和推理的基本挑战。为了解决这一差距，我们引入了ViDoSeek，这是一个新颖的数据集，旨在评估RAG在需要复杂推理的视觉丰富文档上的表现。基于此数据集，我们确定了当前RAG方法的关键局限性：（i）纯视觉检索方法难以有效整合文本和视觉特征；（ii）先前的方法通常分配的推理标记不足，限制了其有效性。为了解决这些挑战，我们提出了ViDoRAG，这是一种专为视觉文档复杂推理设计的新型多代理RAG框架。ViDoRAG采用基于高斯混合模型（GMM）的混合策略，有效处理多模态检索。为进一步激发模型的推理能力，我们引入了一种迭代代理工作流程，包括探索、总结和反思，提供了一个在RAG领域中研究测试时扩展的框架。在ViDoSeek上的广泛实验验证了我们方法的有效性和泛化能力。值得注意的是，ViDoRAG在竞争激烈的ViDoSeek基准测试中比现有方法高出超过10%。

该论文试图解决传统检索增强生成（RAG）方法在处理视觉丰富的文档时面临的挑战，特别是这些方法在高效检索、理解和推理密集视觉文档方面的能力不足。这是一个相对较新的问题，因为大多数现有基准主要集中在基于图像的问答上，而忽略了复杂的视觉文档。

关键思路是引入ViDoSeek数据集来评估RAG在视觉丰富文档上的表现，并提出ViDoRAG框架，这是一个针对复杂推理的多代理RAG框架。相比当前研究，ViDoRAG通过Gaussian Mixture Model (GMM) 基于混合策略处理多模态检索，并引入迭代代理工作流以增强模型的推理能力，这为跨视觉文档的复杂推理提供了一种新颖的方法。

论文设计了广泛的实验验证ViDoRAG的有效性和泛化能力，并在ViDoSeek基准上显著优于现有方法，性能提升超过10%。此外，ViDoSeek数据集和ViDoRAG框架的设计为未来的研究提供了宝贵资源。目前尚未提及代码是否开源，但其提出的迭代代理工作流（包括探索、总结和反思）为测试时扩展提供了新视角，值得进一步研究。

最近的相关研究包括对多模态学习、视觉-语言模型以及复杂推理任务的关注。例如，《VisualBERT: A Simple and Performant Baseline for Vision-and-Language Tasks》探讨了视觉和语言的联合表示；《LayoutLM: Pre-training of Text and Layout for Document AI》专注于文档AI中的文本和布局预训练；还有《M3P: Multimodal Moment Matching Pre-training for Video-and-Language Tasks》则关注视频和语言任务的多模态时刻匹配预训练。