Prompting LLMs to Compose Meta-Review Drafts from Peer-Review Narratives of Scholarly Manuscripts

在学术同行评审过程中，最重要但也最繁琐的任务之一是撰写元审查，这涉及理解学术手稿的核心贡献、优点和缺点，基于多个专家的同行评审意见，将这些专家的观点总结成简明的综合概述。鉴于生成式人工智能尤其是大型语言模型（LLMs）的最新重大发展，我们非常有兴趣严格研究LLMs在学术同行评审中生成此类元审查的效用。在本文中，我们使用三种流行的LLMs，即GPT-3.5、LLaMA2和PaLM2进行案例研究，通过不同类型/级别的提示，基于最近提出的TELeR分类法，自动生成元审查。最后，我们对LLMs生成的元审查进行了详细的定性研究，并总结了我们的发现和提示LLMs进行这一复杂任务的建议。

本文研究利用大型语言模型（LLMs）在学术同行评审中生成元评审的效用

本文通过案例研究，使用三种流行的LLMs自动生成元评审，根据TELeR分类法的不同提示类型/级别进行提示

本文使用了GPT-3.5、LLaMA2和PaLM2三种LLMs，进行了详细的定性研究，总结出了提示LLMs进行这项复杂任务的建议和发现

最近的相关研究主要集中在大型语言模型的应用上，例如GPT-3等