Prediction-Powered Ranking of Large Language Models

大型语言模型通常根据其与人类偏好的相似程度进行排名——如果其输出更受人类偏好，则该模型优于其他模型。其中最流行的一种获取人类偏好的方法是，对比不同模型对相同输入的输出，以此进行成对比较。然而，由于人类进行成对比较的代价高昂且耗时，因此现在很常见的做法是通过一个与人类偏好强烈一致的大型语言模型进行成对比较。令人惊讶的是，实践者目前无法衡量任何人类偏好与模型偏好之间的不匹配可能会在构建排名时引入的不确定性。在这项工作中，我们开发了一个统计框架来弥合这个差距。给定一小组人类成对比较和一大组模型成对比较，我们的框架为每个比较的模型提供一个排名集——可能的排名位置集合。此外，它保证，在大于或等于用户指定值的概率下，这些排名集将覆盖与（人类成对比较的分布一致的）真实排名一致的排名。我们的框架计算效率高，易于使用，并且不对人类偏好的分布或人类成对比较与强大的大型语言模型之间的一致程度做出任何假设。

本论文试图解决如何测量人类和大型语言模型之间偏好不一致可能引入的不确定性问题，以及如何构建排名集合来解决这个问题。

该论文提出了一种统计框架，可以通过人类和模型之间的有限一组配对比较来构建排名集合，并保证排名集合覆盖与人类偏好一致的真实排名。

论文的方法计算效率高，易于使用，不假设人类偏好的分布或人类偏好和模型偏好的一致性。论文还提供了实验设计和数据集细节，并提供了开源代码。

最近的相关研究包括使用人类偏好来评估大型语言模型的方法以及使用排名集合来解决排名不确定性的方法。