Large language models surpass human experts in predicting neuroscience results

科学发现往往依赖于综合几十年的研究成果，这个任务可能超过了人类信息处理的能力。大型语言模型（LLMs）提供了一种解决方案。在广泛的科学文献上训练的LLMs可能比人类专家更好地整合嘈杂但相关的发现，以预测新的结果。为了评估这种可能性，我们创建了BrainBench，一个前瞻性的基准，用于预测神经科学结果。我们发现，LLMs在预测实验结果方面超过了专家。我们调整了神经科学文献的LLM——BrainGPT，它的表现更好。与人类专家一样，当LLMs对它们的预测有信心时，它们更有可能是正确的，这预示着一个未来，人类和LLMs将共同合作进行发现。我们的方法不是神经科学特定的，而是可转移应用于其他知识密集型工作。

论文试图解决如何利用大型语言模型（LLMs）预测神经科学实验结果的问题，以及验证LLMs在这方面的效果是否优于人类专家。

利用大型语言模型（LLMs）对神经科学文献进行训练，可以更好地预测实验结果，甚至优于人类专家。通过创造 BrainBench 基准测试，证明了这一点。在神经科学文献上进行调整的 LLMs，BrainGPT，效果更好。

实验结果表明，LLMs可以更好地预测神经科学实验结果，这为人类和LLMs共同发现新的科学发现奠定了基础。该方法不仅适用于神经科学，还可以推广到其他知识密集型领域。论文还开源了BrainBench基准测试和BrainGPT模型。

最近的相关研究包括使用LLMs进行自然语言处理和知识图谱构建的研究，如《GPT-3: Language Models are Few-Shot Learners》和《ERNIE: Enhanced Language Representation with Informative Entities》。