Synthetic Test Collections for Retrieval Evaluation

测试集在信息检索（IR）系统的评估中起着至关重要的作用。获取多样化的用户查询以构建测试集可能具有挑战性，而获取相关性判断（指检索到的文档与查询的适当性）通常是昂贵和资源密集的。最近，在各种应用中，使用大型语言模型（LLMs）生成合成数据集已经引起了重视。在IR领域中，虽然以前的工作利用LLMs的能力生成合成查询或文档以增强训练数据并改善排名模型的性能，但使用LLMs构建合成测试集相对较少被探索。以前的研究表明，LLMs有潜力生成用于IR系统评估的合成相关性判断。在本文中，我们全面调查了是否可能使用LLMs构建完全合成的测试集，通过生成不仅是合成判断，还包括合成查询。特别是，我们分析了是否可能构建可靠的合成测试集以及这种测试集可能对基于LLMs的模型产生的偏见的潜在风险。我们的实验表明，使用LLMs可以构建可靠的合成测试集，可用于检索评估。

本文旨在探讨使用大语言模型（LLMs）构建完全合成的测试集是否可靠，并分析这种测试集可能存在的偏差风险。

使用LLMs生成合成查询和合成判断，构建完全合成的测试集，可以可靠地用于信息检索系统的评估。

实验结果表明，使用LLMs可以生成可靠的合成测试集，用于信息检索系统的评估。本文提出的方法可以在数据收集和标注成本高昂的情况下，更便捷地构建测试集。值得深入研究。

相关研究包括使用LLMs生成合成查询或文档来增加训练数据和提高排名模型性能的工作，以及使用LLMs生成合成相关性判断来评估信息检索系统的能力的工作。