Large Language Models as Evaluators for Scientific Synthesis

我们的研究探讨了最先进的大型语言模型（LLMs），如GPT-4和Mistral，评估科学摘要或更适当地说是科学综述的质量时的表现，将它们的评估与人类注释者的评估进行了比较。我们使用了一个数据集，包括100个研究问题及其综述，这些综述是由GPT-4从五篇相关论文的摘要中生成的，并与人类质量评分进行了核对。该研究评估了闭源GPT-4和开源Mistral模型评估这些摘要的能力，并提供了其判断的原因。初步结果显示，LLMs可以提供逻辑解释，这些解释与质量评分有些匹配，但更深入的统计分析显示，LLM与人类评分之间存在较弱的相关性，这表明了LLMs在科学综述评估方面的潜力和当前的局限性。

本文旨在探讨当前最先进的大型语言模型（LLMs），如GPT-4和Mistral，对科学摘要或综述的质量评估能力，并将其评估结果与人类注释者的评估进行比较。这是否是一个新问题？

本文使用了一个由100个研究问题及其摘要组成的数据集，这些摘要是由GPT-4从五篇相关论文的摘要中生成的，并与人类质量评分进行了比较。本文评估了闭源的GPT-4和开源的Mistral模型评估这些摘要的能力，并提供了其判断的原因。初步结果表明，LLMs可以提供与质量评分相匹配的逻辑解释，但更深入的统计分析表明，LLM和人类评分之间存在较弱的相关性，这表明了LLMs在科学综述评估方面的潜力和当前的局限性。

本文的实验设计包括使用了一个由100个研究问题及其摘要组成的数据集，并将LLMs的评估结果与人类评分进行了比较。本文还提供了LLMs判断的原因和逻辑解释。此外，本文还评估了闭源的GPT-4和开源的Mistral模型的评估能力，并探讨了LLMs在科学综述评估方面的潜力和局限性。

最近的相关研究包括使用LLMs进行自然语言处理任务的研究，以及使用LLMs进行文本生成和自动摘要的研究。其中，一些相关的研究论文包括《GPT-3：一种语言能力的转移学习》和《BERT：预训练的深度双向转换编码器用于自然语言处理》等。