Beyond Benchmarks: Evaluating Embedding Model Similarity for Retrieval Augmented Generation Systems

在设计检索增强生成（RAG）系统时，嵌入模型的选择是一个关键步骤。鉴于可用选项的数量之多，识别相似模型的簇可简化此模型选择过程。仅依赖基准性能分数只能对模型相似性进行弱评估。因此，在本研究中，我们评估了在RAG系统中嵌入模型的相似性。我们的评估有两个方面：我们使用中心核对齐来在成对级别上比较嵌入，此外，由于这对于RAG系统尤为相关，我们还使用Jaccard和排名相似性来评估这些模型之间的检索结果的相似性。我们比较了不同家族的嵌入模型，包括专有的模型，在流行的基准信息检索（BEIR）的五个数据集上进行了比较。通过我们的实验，我们确定了与模型家族对应的模型簇，但有趣的是，我们还发现了一些家族间的簇。此外，我们对top-k检索相似性的分析显示，在低k值时存在高方差。我们还确定了专有模型的可能的开源替代方案，其中Mistral展现出与OpenAI模型最高的相似性。

本论文旨在解决在设计检索增强生成（RAG）系统时，如何选择嵌入模型这一关键步骤的问题。通过评估嵌入模型的相似性，以及检索结果的相似性，来确定模型选择。

本论文的关键思路是使用中心核对齐方法来比较嵌入模型的相似性，并使用Jaccard和排名相似性来评估这些模型的检索结果相似性。研究比较了不同家族的嵌入模型，包括专有模型，发现了一些家族内和跨家族的模型聚类。此外，在低k值时，检索相似性存在高方差。研究还发现了一些开源替代品，其中Mistral与OpenAI模型的相似性最高。

本论文使用了五个来自BEIR的数据集进行实验，并比较了不同家族的嵌入模型。研究发现了一些模型聚类，同时也发现了一些开源替代品。此外，研究还发现在低k值时，检索相似性存在高方差。

在这个领域中，最近的相关研究包括《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》和《Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering》等。