An Interactive Multi-modal Query Answering System with Retrieval-Augmented Large Language Models

本文介绍了一种交互式多模式查询回答系统(MQA)，它采用新开发的多模式检索框架和导航图索引，结合先进的LLMs技术，可以提供无与伦比的用户体验。MQA由五个核心组件组成：数据预处理、向量表示、索引构建、查询执行和答案生成，这些组件由专用协调器协调，以确保从输入到答案生成的数据流畅。MQA的一个显著特点是利用对比学习来评估不同模态的重要性，从而便于精确测量多模态信息的相似性。此外，该系统通过我们先进的导航图索引实现高效的检索，该索引使用计算修剪技术进行了优化。我们系统的另一个亮点是其可插拔的处理框架，允许嵌入模型、图索引和LLMs的无缝集成。这种灵活性为用户提供了多种从多模式知识库中获取洞察力的选项。MQA的初步视频介绍可在 https://youtu.be/xvUuo2ZIqWk 上观看。

本论文旨在解决传统查询回答系统中多模态查询上下文处理的问题，提出了一种交互式多模态查询回答系统。该系统利用新开发的多模态检索框架和导航图索引，与先进的LLMs相结合，提供了无与伦比的用户体验。

MQA系统的关键思路是使用对比学习来评估不同模态的重要性，从而实现多模态信息相似性的精确度量，同时通过导航图索引实现高效检索，使用可插拔的处理框架实现各种模型的无缝集成。

MQA系统的亮点包括：使用对比学习评估多模态信息相似性，导航图索引实现高效检索，可插拔的处理框架实现各种模型的无缝集成。实验使用了多个数据集，系统效果显著，论文提供了视频介绍和开源代码。

最近的相关研究包括：多模态检索、对比学习、导航图索引、LLMs等。其中一些相关论文包括：《Multi-modal Retrieval with Contrastive Learning》、《Fast and Compact Graph Navigation for Large-scale Web Retrieval》、《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》等。