The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

人工智能的一个重大挑战是开发能够进行科学研究和发现新知识的代理人。虽然前沿模型已经被用作辅助人类科学家，例如为头脑风暴、编写代码或预测任务，但它们仍然只完成科学过程的一小部分。本文提出了第一个全面的框架，用于完全自动的科学发现，使得前沿的大型语言模型能够独立进行研究并传达其发现。我们介绍了AI Scientist，它生成新的研究想法、编写代码、执行实验、可视化结果、通过撰写完整的科学论文描述其发现，然后运行模拟的评审过程进行评估。原则上，这个过程可以重复进行，以开放式的方式迭代地发展想法，就像人类科学界一样。我们通过将其应用于机器学习的三个不同子领域来展示其多功能性：扩散建模、基于Transformer的语言建模和学习动态。每个想法的实现和发展成为完整的论文的成本不到15美元。为了评估生成的论文，我们设计和验证了一个自动评审程序，我们展示了它在评估论文得分方面达到了接近人类的表现。AI Scientist可以生成超过顶级机器学习会议接受门槛的论文，由我们的自动评审程序判断。这种方法标志着机器学习科学发现的一个新时代：将AI代理人的转变性益带到AI本身的整个研究过程中，使我们更接近一个无限的、负担得起的创造力和创新能够释放到世界上最具挑战性的问题的世界。我们的代码在https://github.com/SakanaAI/AI-Scientist上开源。

论文介绍了一个全自动的科学研究框架，旨在让人工智能代理能够独立进行科学研究和发现新知识。该框架是否能够实现完全自动化的科学研究？

论文提出了AI Scientist框架，可以生成新的研究想法，编写代码，执行实验，可视化结果，并通过撰写完整的科学论文来描述其发现，然后运行模拟审查过程进行评估。这一过程可以重复进行，类似于人类科学界。该框架的关键在于将大型语言模型应用于自动化科学研究。

论文使用AI Scientist框架，将其应用于机器学习的三个子领域：扩散建模、基于Transformer的语言建模和学习动力学。每个想法的实现和发展成一篇完整的论文的成本不到15美元。为了评估生成的论文，论文设计并验证了一个自动化评审人员，该评审人员在评估论文分数方面表现出接近人类的表现。AI Scientist可以生成超过顶级机器学习会议接受门槛的论文。该框架的开源代码可在GitHub上找到。

最近的相关研究包括使用大型语言模型作为科学助理。但是，这些模型仅执行科学过程的一小部分。此外，还有其他自动化科学研究的尝试，但这些尝试通常限于特定领域或任务。