Automated Peer Reviewing in Paper SEA: Standardization, Evaluation, and Analysis

近年来，科学论文数量的快速增加已经超出了传统的审稿机制，导致出版物的质量参差不齐。虽然现有的方法已经探索了大型语言模型（LLMs）用于自动科学审稿的能力，但它们生成的内容通常是通用或部分的。为了解决上述问题，我们介绍了一个自动论文审阅框架SEA。它包括三个模块：标准化、评估和分析，分别由模型SEA-S、SEA-E和SEA-A表示。最初，SEA-S利用GPT-4的数据标准化能力来整合多个论文审阅。然后，SEA-E利用标准化数据进行微调，使其能够生成有建设性的审阅。最后，SEA-A引入了一种新的评估指标——不匹配得分，以评估论文内容和审阅之间的一致性。此外，我们设计了自我纠正策略来增强一致性。从八个会议收集的数据集的广泛实验结果表明，SEA可以为作者生成有价值的见解，以改进他们的论文。

论文旨在解决传统审稿机制无法应对大量科学论文的问题，提出了一个自动论文审阅框架SEA，旨在提高审阅质量和一致性。

SEA框架包括三个模块：标准化（SEA-S）、评估（SEA-E）和分析（SEA-A），利用GPT-4模型进行数据标准化和Fine-tune，提出了一种新的评估指标mismatch score，并设计了自我纠正策略来提高一致性。

实验结果表明，SEA框架可以为作者提供有价值的反馈，以改进论文。还使用了8个数据集进行了广泛的实验研究。

近期的相关研究包括利用大型语言模型进行自动化科学审稿的方法，但是它们生成的内容通常是通用或部分的。