The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

近年来，自然语言处理方面的突破性进展导致了强大的大型语言模型（LLMs）的出现，这些模型在包括自然语言的理解、生成和翻译以及超越语言处理的任务等广泛领域展示了出色的能力。本报告探讨了LLMs在科学发现领域中的表现，重点关注最先进的语言模型GPT-4。我们的研究涵盖了药物发现、生物学、计算化学（密度泛函理论（DFT）和分子动力学（MD））、材料设计和偏微分方程（PDE）等多个科学领域。评估GPT-4在科学任务中的表现对于揭示其在各种研究领域中的潜力、验证其特定领域的专业知识、加速科学进步、优化资源分配、指导未来模型发展和促进跨学科研究至关重要。我们的探索方法主要包括专家驱动的案例评估，提供对模型理解复杂科学概念和关系的定性见解，以及偶尔进行基准测试，定量评估模型解决明确定义的特定领域问题的能力。我们的初步探索表明，GPT-4在各种科学应用中具有很大的潜力，展示了处理复杂问题解决和知识整合任务的能力。总体而言，我们评估了GPT-4的知识库、科学理解、科学数值计算能力和各种科学预测能力。

论文旨在评估GPT-4在科学发现领域的表现，探索其在药物发现、生物学、计算化学、材料设计和偏微分方程等领域的应用潜力。

论文主要通过专家驱动的案例评估和基准测试，评估GPT-4在科学任务中的表现，重点关注其理解复杂科学概念和关系的能力、数值计算能力以及各种科学预测能力。

论文初步探索表明，GPT-4在多个科学应用中表现出良好的潜力，展示了其处理复杂问题解决和知识集成任务的能力。实验设计包括专家评估和基准测试，使用了多个数据集。论文未提供开源代码。该研究为未来的模型开发和跨学科研究提供了指导。

最近的相关研究包括GPT-3在自然语言处理和其他领域的应用研究，以及其他大型语言模型在科学领域的评估研究。