Agent Laboratory: Using LLM Agents as Research Assistants

历史上，科学发现一直是一个漫长且成本高昂的过程，从最初的构想到最终的结果都需要投入大量的时间和资源。为了加速科学发现、降低研究成本并提高研究质量，我们引入了Agent Laboratory，这是一种基于大型语言模型（LLM）的自主框架，能够完成整个研究过程。该框架接受由人类提供的研究想法，并通过三个阶段——文献综述、实验和报告撰写，生成全面的研究成果，包括代码仓库和研究报告，同时允许用户在每个阶段提供反馈和指导。我们使用多种最先进的大型语言模型部署了Agent Laboratory，并邀请多位研究人员通过参与调查、提供人类反馈以指导研究过程，然后评估最终论文来评价其质量。我们发现：(1) 由o1-preview驱动的Agent Laboratory产生了最佳的研究成果；(2) 生成的机器学习代码能够达到与现有方法相比的最先进性能；(3) 在每个阶段提供反馈的人类参与显著提高了研究的整体质量；(4) Agent Laboratory显著降低了研究费用，相比以前的自主研究方法减少了84%。我们希望Agent Laboratory能够让研究人员将更多的精力投入到创造性的构思中，而不是低级别的编码和写作，从而最终加速科学发现。

该论文试图解决科学发现过程耗时长、成本高的问题，通过引入自主框架Agent Laboratory来加速研究进程、降低成本并提高研究质量。这是一个具有创新性的尝试，旨在改变传统的科研模式。

关键思路是开发一个基于大型语言模型（LLM）的自主框架——Agent Laboratory，该框架能够接受人类提供的研究想法，并自动完成从文献回顾到实验设计再到报告撰写的全过程。与现有研究相比，这一方法不仅实现了自动化，还强调了人机协作的重要性，允许研究人员在各个阶段提供反馈和指导。

论文展示了Agent Laboratory由o1-preview驱动的研究成果最为优秀；生成的机器学习代码能达到当前最佳性能；人类反馈显著提升了研究质量；并且该系统使研究成本降低了84%。此外，作者们开源了代码库，鼓励社区进一步探索和改进此框架。

近期相关研究包括：《Automated Machine Learning: Methods, Systems, and Challenges》探讨了自动化机器学习系统的进展；《Deep Learning for Automated Scientific Discovery》讨论了深度学习在自动化科学发现中的应用；《Enhancing Research Quality with Human-in-the-loop AI》则关注如何通过人机协作提升研究质量。