Can Many-Shot In-Context Learning Help Long-Context LLM Judges? See More, Judge Better!

最近，利用大型语言模型（LLMs）作为评估LLMs性能的裁判已经引起了关注。然而，这种方法同时引入了LLMs的潜在偏见，引发了对评估结果可靠性的担忧。为了缓解这个问题，我们提出并研究了两个版本的多样本上下文提示，强化和无监督ICL，以帮助GPT-4o作为单个答案评分的裁判。基于设计的提示，我们研究了扩展上下文示例数量对评估的一致性和质量的影响。此外，我们首次揭示了GPT-4o作为裁判在配对比较中的符号偏见，并提出了一种简单而有效的方法来缓解它。实验结果表明，像GPT-4o这样的高级长上下文LLMs在多样本制度下的表现优于零样本制度。同时，实验结果进一步验证了符号偏见缓解方法的有效性。

本文旨在解决使用大型语言模型（LLMs）作为评价LLMs性能的评判标准时可能引入的潜在偏见问题，提出并研究了两种版本的多样本上下文提示，以帮助GPT-40作为评判标准进行单个答案评分。

本文提出了两种版本的多样本上下文提示，Reinforced和Unsupervised ICL，用于帮助GPT-40作为评判标准进行单个答案评分，并通过设计的提示探究上下文示例数量的扩展对评价结果的影响。同时，本文还揭示了GPT-40作为评判标准在配对比较中的符号偏见，并提出了一种简单有效的方法来缓解这种偏见。

本文的亮点包括提出了两种多样本上下文提示，Reinforced和Unsupervised ICL，用于帮助GPT-40作为评判标准进行单个答案评分，并通过实验探究了上下文示例数量的扩展对评价结果的影响；揭示了GPT-40作为评判标准在配对比较中的符号偏见，并提出了一种简单有效的方法来缓解这种偏见。

相关研究包括使用大型语言模型（LLMs）作为评判标准的研究，以及多样本上下文提示在自然语言处理中的应用研究。