Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions

大型语言模型（LLMs）已经在各个领域展示了广泛的应用，并在学术同行评审过程中展现了显著的潜力。然而，现有的应用主要局限于基于提交的论文生成静态审阅，未能捕捉到真实同行评审的动态和迭代特性。在本文中，我们将同行评审过程重新定义为多轮、长上下文对话，并加入作者、审稿人和决策者的不同角色。我们构建了一个全面的数据集，其中包含来自多个来源的26,841篇论文和92,017篇审稿意见，包括顶级会议和著名期刊。这个数据集经过精心设计，旨在促进LLMs在多轮对话中的应用，有效地模拟完整的同行评审过程。此外，我们提出了一系列指标，以评估LLMs在这个重新定义的同行评审设置下每个角色的表现，确保公平和全面的评估。我们相信，本文提供了一个有前途的视角，通过加入动态、基于角色的交互来增强LLM驱动的同行评审过程。它与真实世界的学术同行评审的迭代和交互特性密切相关，为未来在这一领域的研究和发展提供了坚实的基础。我们在https://github.com/chengtan9907/ReviewMT开源了数据集。

本论文试图将同行评审过程转化为多轮、长上下文对话，以模拟真实的同行评审过程，并提出了一系列评估指标以评估LLMs在该过程中的表现。

本论文的关键思路是将同行评审过程转化为对话形式，并为作者、评审人员和决策者分别设定不同的角色，以更好地模拟真实的同行评审过程。

本论文构建了一个包含26,841篇论文和92,017篇评论的数据集，以促进LLMs在多轮对话中的应用，并提出了一系列评估指标以评估LLMs在每个角色下的表现。该数据集已在GitHub上开源。本论文的亮点还包括实验的设计和数据集的来源。

最近的相关研究主要集中在LLMs在同行评审中的应用，如生成静态评论。相关论文包括“BERT for PeerReview: Multi-task Learning for Paper Matching and Peer Reviewer Recommendation”和“PeerRead: A Dataset for Scientific Peer Review”。