Assessing the Chemical Intelligence of Large Language Models

大型语言模型是一种多功能的通用工具，具有广泛的应用场景。近期，“推理模型”的出现显著提升了这些模型在高级问题解决领域（如数学和软件工程）中的能力。在本研究中，我们评估了推理模型在没有任何外部工具辅助的情况下直接执行化学任务的能力。为此，我们创建了一个名为 ChemIQ 的新基准测试，其中包含 796 道题目，用于评估有机化学的核心概念，重点在于分子理解和化学推理。与以往主要采用选择题形式的基准测试不同，我们的方法要求模型生成简答题形式的回答，这种方式更贴近实际应用场景。以 OpenAI 的 o3-mini 为例的推理模型根据所使用的推理级别不同，正确回答了 28%-59% 的问题，且更高的推理级别显著提高了所有任务的表现。这些模型大幅超越了非推理模型 GPT-4o，后者仅达到了 7% 的准确率。我们发现，当前的大型语言模型已能够将 SMILES 字符串转换为 IUPAC 名称，而这是早期模型无法完成的任务。此外，我们还证明了最新的推理模型可以从 1H 和 13C 核磁共振（NMR）数据推导出分子结构，并为包含多达 10 个重原子的分子生成正确的 SMILES 字符串，准确率达到 74%，并且在某些情况下成功解析了包含 21 个重原子的复杂结构。对于每一项任务，我们都发现了证据表明模型的推理过程与人类化学家相似。我们的研究结果表明，最新的推理模型已经具备进行高级化学推理的能力。

本论文试图评估大型语言模型（LLM）在无需外部工具的情况下直接解决化学问题的能力，特别是有机化学中的分子理解和化学推理任务。这是一个新问题，因为之前的基准测试主要集中在多选题上，而本文提出了需要短答案响应的新型基准ChemIQ。

论文的关键思路是通过引入不同级别的推理增强（如OpenAI的o3-mini），让LLM能够更有效地解决复杂的化学问题。与传统的非推理模型（如GPT-4o）相比，推理模型显著提高了准确率，并能完成一些之前无法实现的任务，例如从SMILES字符串转换为IUPAC名称或从NMR数据推导分子结构。这种基于推理水平的设计是本文的核心创新点。

1. 创建了ChemIQ基准，包含796个有机化学问题，专注于真实世界的短答案任务；2. 实验表明，推理模型在不同任务上的表现优于非推理模型，最高正确率达到59%；3. 模型首次展示了将SMILES字符串转换为IUPAC名称的能力；4. 在NMR数据分析中，模型对小分子（最多10个重原子）的解析成功率高达74%，甚至成功解析了一个含有21个重原子的复杂分子；5. 研究发现模型的推理过程与人类化学家类似，这为未来的研究提供了重要启示。

最近的相关研究包括：1. 'Solving Complex Scientific Problems with AI: A Case Study in Organic Chemistry'，探讨了AI在有机化学中的应用；2. 'Molecular Property Prediction Using Graph Neural Networks'，利用图神经网络进行分子性质预测；3. 'Natural Language Processing Models for Scientific Text Understanding'，研究了NLP模型在科学文本理解中的潜力；4. 'Benchmarking AI Systems for Chemical Synthesis Planning'，提出了针对化学合成规划的AI基准测试。这些研究共同推动了AI在化学领域的进步。