An AI system to help scientists write expert-level empirical software

科学发现的周期常常受到软件支持计算实验时缓慢的手动开发所制约。为了解决这一问题，我们提出了一种能够创建专家级科研软件的AI系统，其目标是最大化一个质量度量指标。该系统利用大语言模型（LLM）和树搜索（TS）技术，系统性地提升质量指标，并智能地在庞大的可能解决方案空间中进行探索。当系统对外部来源的复杂研究思路进行探索和整合时，能够达到专家级别的成果。树搜索的有效性在一系列广泛的基准测试中得到了验证。在生物信息学领域，该系统发现了40种用于单细胞数据分析的新方法，这些方法在公共排行榜上的表现超过了目前人类开发的最佳方法。在流行病学领域，它构建了14种预测新冠住院人数的模型，其效果优于美国疾病控制与预防中心（CDC）的集成模型以及其他所有单一模型。我们的方法还生成了用于地理空间分析、斑马鱼神经活动预测、时间序列预测以及积分数值求解的最先进的软件。通过为各种任务设计并实现新的解决方案，该系统代表了加速科学进步的重要一步。

论文试图解决科学发现过程中因手动开发计算实验软件缓慢而导致的瓶颈问题。这一问题在多个科学领域中普遍存在，但尚未有系统性解决方案，因此具有一定的新颖性。

论文提出了一种基于大语言模型（LLM）与树搜索（Tree Search）的AI系统，自动创建高质量的科学软件，以最大化质量指标。其核心创新在于结合树搜索的系统优化与LLM的代码生成能力，从而实现对复杂科研问题的自动化解决。

1. 该系统在多个科学领域实现了专家级成果，包括单细胞数据分析、流行病预测、神经活动建模、时间序列预测、积分求解等。 2. 在单细胞数据分析中，生成的40种方法超过人类开发的顶级方法；在新冠住院预测中，14个模型优于CDC集成模型。 3. 系统具备从外部研究中整合复杂思想的能力，体现了其跨领域泛化性。 4. 论文展示了系统在多个公开数据集上的性能，暗示了其潜在的开源与复现价值。 5. 未来可深入研究方向包括：提升系统在更大搜索空间中的效率、探索更多科学领域、结合更多人类反馈机制。

1. AlphaFold: Using AI for protein structure prediction 2. DeepVariant: Accurate genetic variant calling using deep learning 3. GPT-4 and Code Generation: Advances in code generation using large language models 4. AutoML: Automated machine learning pipeline construction 5. Program Synthesis with Large Language Models