InspectorRAGet: An Introspection Platform for RAG Evaluation

大型语言模型（LLM）已成为实现检索增强生成（RAG）系统的流行方法，已经花费了大量的精力来构建良好的模型和指标。尽管越来越多的人意识到需要对RAG系统进行严格的评估，但很少有工具超越了模型输出和自动计算。我们介绍了InspectorRAGet，这是一个用于RAG评估的内省平台。 InspectorRAGet允许用户使用人类和算法指标以及注释器质量来分析RAG系统的聚合和实例级性能。 InspectorRAGet适用于多个用例，并可公开提供给社区。演示视频可在https://youtu.be/MJhe8QIXcEc上观看。

InspectorRAGet：一种用于RAG系统评估的自省平台

本文介绍了InspectorRAGet，一种用于RAG系统评估的自省平台，可以分析聚合和实例级别的性能，使用人类和算法度量以及注释器质量。这种平台可以用于多种用例，并对社区公开。

本文介绍了一种新的自省平台，可以帮助分析和评估RAG系统的性能。实验使用了多个数据集，并且平台是开源的。

最近的相关研究包括：1. RAG系统的建模和评估方法；2. RAG系统的应用和改进。