The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

人工智能的一个重大挑战是开发能够进行科学研究和发现新知识的代理人。虽然前沿模型已被用作协助人类科学家，例如为头脑风暴提供想法、编写代码或进行预测任务，但它们仍然只完成科学过程的一小部分。本文提出了第一个全面的框架，用于完全自动化的科学发现，使前沿的大型语言模型能够独立进行研究并传达其发现。我们介绍了“AI科学家”，它能够生成新的研究想法、编写代码、执行实验、可视化结果、通过撰写完整的科学论文来描述其发现，然后运行模拟的评审过程进行评估。原则上，这个过程可以重复进行，以开放式的方式迭代发展想法，就像人类科学界一样。我们通过将其应用于机器学习的三个不同子领域——扩散建模、基于Transformer的语言建模和学习动态——展示了其多功能性。每个想法的实现和发展成为一篇完整的论文的成本不到15美元。为了评估生成的论文，我们设计和验证了一个自动评审程序，我们展示了它在评估论文分数方面达到了接近人类的表现。AI科学家可以生成超过顶级机器学习会议的接受门槛的论文，这标志着机器学习科学发现的一个新时代的开始：将AI代理人的转变性益带到AI本身的整个研究过程中，使我们更接近于在世界上最具挑战性的问题上释放无尽的创造力和创新的世界。我们的代码在https://github.com/SakanaAI/AI-Scientist上开源。

论文旨在提出一种全自动的科学发现框架，使得前沿的大型语言模型能够独立进行研究并传达其发现。该框架的实现能够使得AI代理人像人类科学界一样，迭代地开发想法，从而在机器学习领域实现全自动科学发现。

该框架引入了AI Scientist，能够生成新的研究思路，编写代码，执行实验，可视化结果，并编写完整的科学论文，然后运行模拟审核过程进行评估。这一过程可以重复进行，以开放式的方式迭代开发想法，从而像人类科学界一样。

论文展示了AI Scientist的多功能性，应用于机器学习的三个不同子领域：扩散建模、基于Transformer的语言建模和学习动态。每个想法的实现和开发成本不到15美元。为了评估生成的论文，作者设计和验证了一个自动评审程序，并展示了其在评估论文得分方面实现了接近人类的性能。AI Scientist可以生成超过顶级机器学习会议接受阈值的论文。

最近在这个领域中，还有一些相关的研究，如OpenAI的GPT-3模型和DeepMind的AlphaFold2蛋白质折叠模型。