CycleResearcher: Improving Automated Research via Automated Review

科学发现的自动化一直是研究界长期追求的目标，这主要是因为其加速知识创造的巨大潜力。尽管使用商业大型语言模型（LLM）作为研究助手或创意生成器已经取得了显著进展，但使用开源LLM自动化整个研究过程的可能性仍 largely 未被探索。本文探讨了使用开源微调后的 LLM 作为自主代理，执行从文献综述、论文撰写到同行评审和论文修订的完整自动化研究和审查周期的可行性。我们的迭代偏好训练框架包括 CycleResearcher，它负责研究任务，以及 CycleReviewer，它模拟同行评审过程，并通过强化学习提供迭代反馈。为了训练这些模型，我们开发了两个新的数据集，Review-5k 和 Research-14k，反映了现实世界中的机器学习研究和同行评审动态。我们的结果显示，CycleReviewer 在预测论文评分方面比单个评审员的平均绝对误差（MAE）提高了 26.89%，表明 LLM 在研究评估中可以超越专家水平的表现。在研究方面，CycleResearcher 模型生成的论文在模拟同行评审中获得了 5.36 分，超过了人类专家预印本的 5.24 分，接近已接受论文的 5.69 分。这项工作代表了向完全自动化的科学研究迈出的重要一步，提供了伦理保障并推进了人工智能驱动的研究能力。代码、数据集和模型权重已在 [http://github/minjun-zhu/Researcher](http://github/minjun-zhu/Researcher) 上发布。

该论文尝试解决科学发现自动化的问题，特别是利用开源大型语言模型（LLMs）实现从文献综述到论文撰写、同行评审和修订的整个研究过程自动化。这是一个长期存在的问题，但使用开源LLMs来实现这一目标仍处于探索阶段。

论文的关键思路是开发一个迭代偏好训练框架，包括CycleResearcher和CycleReviewer两个模块。CycleResearcher负责执行研究任务，而CycleReviewer则模拟同行评审过程，通过强化学习提供迭代反馈。这种方法旨在使模型能够自主完成科学研究的全周期。

论文的主要亮点包括：1) 开发了两个新的数据集Review-5k和Research-14k，用于训练模型；2) 实验结果显示CycleReviewer在预测论文评分方面比人类评审者表现更好，MAE提高了26.89%；3) CycleResearcher生成的论文在模拟同行评审中得分达到5.36，超过了预印本水平（5.24），接近已接受论文的水平（5.69）。此外，所有代码、数据集和模型权重均已开源。

近期在该领域的一些相关研究包括：1) 'Automated Scientific Discovery: A Survey'，综述了自动化科学发现的各种方法和技术；2) 'Reinforcement Learning for Automated Research'，探讨了强化学习在自动化研究中的应用；3) 'Large Language Models for Scientific Text Generation'，研究了大语言模型在科学文本生成中的性能。