The AI Review Lottery: Widespread AI-Assisted Peer Reviews Boost Paper Scores and Acceptance Rates

学术期刊和会议担心人工智能（AI），特别是大型语言模型（LLM）辅助的同行评审可能会对同行评审系统的有效性和公正性产生负面影响，而同行评审是现代科学的基石。本研究通过对2024年国际学习表示会议（ICLR）这个大型、有声望的机器学习会议的背景下AI辅助同行评审的流行程度和影响进行了准实验研究，以解决这一担忧。我们的贡献有三个方面。首先，我们使用GPTZero LLM检测器获得了ICLR 2024中AI辅助评审的最低普及率，估计至少有15.8％的评审是由AI辅助撰写的。其次，我们估计了AI辅助评审对提交评分的影响。考虑到对同一篇论文分配不同评分的评审对，我们发现在53.4％的对中，AI辅助评审的评分比人工评审更高（$p=0.002$；评分更高的概率相对差异：AI辅助评审的优势为+14.4％）。第三，我们评估了接受AI辅助同行评审对提交接受率的影响。在一项匹配研究中，接近接受门槛的提交，如果接受了AI辅助同行评审，则比没有接受的提交更有可能被接受，差别为4.9个百分点（$p=0.024$）。总体而言，我们展示了AI辅助评审对同行评审过程的重要性，并就当前趋势的未来影响进行了讨论。

研究AI辅助同行评审对科学论文评审的影响和公正性问题。

通过ICLR 2024会议的案例，研究AI辅助同行评审的普及率、对论文评分的影响以及对论文被接受的影响。

研究发现至少15.8%的论文评审使用了AI辅助，而且在53.4%的情况下，AI辅助评审的分数高于人工评审。同时，使用AI辅助评审的论文比没有使用的论文更容易被接受。

相关研究还在探索如何提高同行评审的效率和公正性，例如采用多样化的评审人群和评审方式等。