AgentReview: Exploring Peer Review Dynamics with LLM Agents

同行评审对于科学出版的诚信和进步至关重要。传统的同行评审分析方法通常依赖于现有同行评审数据的探索和统计，这些方法不能充分解决同行评审过程的多元性，不能考虑潜在变量，并且由于数据的敏感性而受到隐私问题的限制。我们介绍了AgentReview，这是第一个基于大型语言模型的同行评审模拟框架，它有效地分离了多个潜在因素的影响并解决了隐私问题。我们的研究揭示了重要的见解，包括37.1％的论文决策由于审稿人的偏见而产生的显着变化，这得到了社会学理论（如社会影响理论、利他疲劳和权威偏见）的支持。我们认为，这项研究可以为改进同行评审机制的设计提供有价值的见解。

解决问题：论文旨在介绍AgentReview，一种基于大型语言模型的同行评审模拟框架，以有效地分离多个潜在因素的影响并解决隐私问题。作者试图揭示同行评审过程中潜在的偏见因素对论文决策的影响。

关键思路：使用大型语言模型进行同行评审模拟，以分离潜在因素的影响并解决隐私问题。通过模拟揭示同行评审中潜在的偏见因素对论文决策的影响，为改进同行评审机制提供有价值的见解。

其他亮点：论文揭示了同行评审中潜在的偏见因素对论文决策的显著影响，如社会影响理论、利他疲劳和权威偏见等。作者使用了大量的数据进行实验，并提供了开源代码。这项研究为改进同行评审机制提供了有价值的见解。

相关研究：最近的相关研究包括使用机器学习来改进同行评审和探索同行评审的社会学因素。其中一些研究的论文标题包括：'Improving Peer Review with Machine Learning: A Case Study of ScholarOne Manuscripts'、'The Social and Behavioral Science of Peer Review: An Introduction and Synthesis'等。