ReviewFlow: Intelligent Scaffolding to Support Academic Peer Reviewing

同行评审是科学的基石。研究社区进行同行评审以评估贡献并提高科学工作的整体质量。每年都会有新的社区成员首次担任同行评审。技术如何帮助新手遵守其社区对同行评审的惯例和标准呢？为了更好地了解同行评审的实践和挑战，我们对10名新手和10名专家进行了一个形成性研究。我们发现，许多专家采用注释、记笔记和将笔记综合成符合社区标准的审稿意见的工作流程。新手缺乏及时的指导，不知道如何阅读和评估提交的论文，以及如何构建论文审查。为了支持同行评审过程，我们开发了ReviewFlow——一个由人工智能驱动的工作流程，为新手提供上下文反思来批评和注释提交的论文，提供实时的知识支持来评估新颖性，并提供笔记到大纲的综合，以帮助将同行评审与社区期望对齐。在一项被试内实验中，16名经验不足的审稿人在两种条件下撰写评论：使用ReviewFlow和使用最少指导的基准环境。使用ReviewFlow后，参与者撰写了更全面的评论，发现了更多的优缺点。虽然参与者欣赏ReviewFlow提供的流程支持，但他们也对将人工智能作为科学审查过程的一部分表示担忧。我们讨论了在科学工作及其它领域中使用人工智能来支持同行评审过程的影响。

如何帮助初学者遵循同行评审的实践和标准？

开发了一种名为ReviewFlow的AI驱动工作流，通过提供上下文反思、知识支持和笔记合成等功能，为初学者提供支持，帮助他们更好地进行同行评审。

在实验中，使用ReviewFlow的参与者产生了更全面的评论，并识别出更多的优缺点。但他们也对使用AI作为科学审查过程的一部分表示担忧。

最近的相关研究包括：PeerRead、OpenReview、PUBPub等。