Evaluation of RAG Metrics for Question Answering in the Telecom Domain

Retrieval Augmented Generation（RAG）广泛用于使大型语言模型（LLM）在各个领域执行问答（QA）任务。然而，基于开源LLM的专业领域的RAG在评估生成的响应方面存在挑战。文献中流行的框架是RAG评估（RAGAS），这是一个公开可用的库，它使用LLM进行评估。 RAGAS的一个缺点是缺乏评估指标数值推导的细节。本研究的一个结果是，我们通过使用任何LLM提供提示的中间输出，为少数指标（忠实度，上下文相关性，答案相关性，答案正确性，答案相似性和事实正确性）修改了该软件包的版本。接下来，我们分析了修改后的RAGAS软件包输出的专家评估，并观察到在电信领域使用该软件包的挑战。我们还研究了在正确与错误检索下指标的影响，并观察到几个指标在正确检索时具有较高的值。我们还研究了基础嵌入和经过预训练和微调的领域适应嵌入之间指标的差异。最后，我们评论了在野外电信QA任务中使用这些指标的适用性和挑战。

本论文旨在解决使用开源LLM进行专业领域问答任务时评估生成回答的挑战。同时，研究分析了修改后的RAGAS包在电信领域中使用时的问题。

论文提出了一种修改后的RAGAS包，用于评估LLMs生成的回答在专业领域问答任务中的质量。该包提供了一些中间输出，包括忠实度、上下文相关性、答案相关性、答案正确性、答案相似性和事实正确性等指标。研究分析了这些指标在正确和错误检索下的差异，以及在基础嵌入和经过预训练和微调后的嵌入之间的差异。

论文对电信领域中使用修改后的RAGAS包进行了专家评估，并分析了其使用中的问题。实验数据集和开源代码也提供了。研究结果表明，一些指标在正确检索下的值更高，而在错误检索下的值较低。此外，基础嵌入和经过预训练和微调后的嵌入之间存在差异。

最近在这个领域中，还有一些相关研究，如BERT、RoBERTa、XLNet等大型语言模型的使用，以及评估指标的研究，如BLEU、ROUGE等。