UniRAG: Universal Retrieval Augmentation for Multi-Modal Large Language Models

最近，多模态大语言模型（MM LLMs）解锁了许多需要多模态理解（例如图像字幕或视觉问答）和多模态生成（例如文本引导的图像生成或编辑）能力的复杂用例。为了进一步提高MM-LLMs的输出保真度，我们引入了模型无关的UniRAG技术，在推理过程中将相关的检索信息作为少样本示例添加到提示中。与常见的看法不同，认为检索增强（RA）主要改善了不常见实体的生成或理解，我们在MSCOCO数据集上的评估结果显示，无论是专有模型如GPT4和Gemini-Pro还是较小的开源模型如Llava、LaVIT和Emu2，在输入提示被多模态检索器（如UniIR模型）检索相关信息后，都显著提高了它们的生成质量。

论文旨在通过引入UniRAG技术，将相关检索信息作为few-shot样例添加到输入提示中，以进一步提高多模态大型语言模型的输出保真度。同时，论文还试图验证检索增强技术对于常见实体的生成质量是否有所提升。

UniRAG技术通过检索相关信息并将其添加到输入提示中，以提高多模态大型语言模型的输出质量。与常见信念不同，检索增强技术不仅可以提高不常见实体的生成或理解能力，还可以显著提高常见实体的生成质量。

论文的实验结果表明，UniRAG技术可以显著提高多模态大型语言模型的输出质量。实验使用了MSCOCO数据集，并涉及多个模型，包括GPT4、Gemini-Pro、Llava、LaVIT和Emu2。此外，论文还提供了开源代码。

最近在这个领域中，还有一些相关研究，如《Large Scale Retrieval for Image Captioning》、《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》等。