Evaluating the Retrieval Component in LLM-Based Question Answering Systems

这篇摘要讲述了利用大型语言模型的问答系统（QA）在很大程度上依赖检索组件来提供领域特定信息，以减少生成不准确的回答或幻觉的风险。尽管检索器的评估可以追溯到信息检索早期的研究，但在基于大型语言模型的聊天机器人中评估其性能仍然是一个挑战。本研究提出了一个简单的基准来评估基于检索增强生成（RAG）的聊天机器人中的检索器。我们的发现表明，这种评估框架提供了更好的检索器性能图像，并与QA系统的整体性能更加一致。虽然传统的度量标准，如精确度、召回率和F1得分，可能无法完全捕捉LLM的能力，因为它们可以在检索器不完美的情况下产生准确的响应，但我们的方法考虑到LLM的优势，可以忽略不相关的上下文，以及响应中的潜在错误和幻觉。

评估Retrieval-Augmented Generation（RAG）中的检索组件的性能仍然是一个挑战。

提出了一种评估Retrieval-Augmented Generation（RAG）中检索组件性能的基准方法。该方法考虑到了LLMs的优势，可以忽略不相关的上下文，以及响应中的潜在错误和幻觉。

本文提出的评估框架可以更好地了解检索器的性能，并与QA系统的整体性能更加一致。实验结果表明，该方法比传统的指标更能反映LLMs的能力。

最近的相关研究包括“BERT在问答系统中的应用”、“使用自监督学习的大规模预训练模型在问答系统中的应用”等。