论文 | ICML 2026 | LongCoT：长远思维链推理基准测试

随着语言模型（language models）越来越多地应用于复杂的自主任务，它们在更长的时间跨度内进行准确推理的能力变得至关重要。这种能力的关键组成部分是规划和管理一条漫长而复杂的思维链（chain-of-thought，CoT）。我们推出了 LongCoT，这是一个可扩展的基准测试，包含 2500 个由专家设计的、涵盖化学、数学、计算机科学、国际象棋和逻辑等领域的难题，旨在分离并直接衡量前沿模型的长程 CoT 推理能力。这些难题由一个简短的输入和一个可验证的答案组成；解决它们需要遍历一个由数万到数十万个推理标记组成的相互依赖步骤图。对于前沿模型而言，每个局部步骤都是可单独处理的，因此失败反映了长程推理的局限性。在 LongCoT 发布时，最佳模型的准确率低于 10%（GPT 5.2：9.8%；Gemini 3 Pro：6.1%），这表明当前模型的能力存在显著差距。总体而言，LongCoT 提供了一种严格的长期推理衡量标准，可以跟踪前沿模型在较长时间内可靠推理的能力。

论文：LongCoT: Benchmarking Long-Horizon Chain-of-Thought Reasoning

单位：牛津大学、劳伦斯利弗莫尔国家实验室（LLNL）、MBZUAI、KAUST、Hexo AI、华盛顿大学、图宾根大学

请索引第111篇论文

01 当Chain-of-Thought变长之后，模型为什么"崩"了？

如果你最近在跟进推理模型（GPT-5.2、Gemini 3、Claude 4.5…）的评测，会发现一个有点尴尬的现象：AIME、HLE、FrontierMath这些"硬基准"上的分数还在涨，但只要把推理链拉长到几万甚至几十万token，哪怕每个单步模型都能做对，最终准确率也会跳水。问题是——这种跳水，到底是因为"模型笨"，还是因为现有benchmark根本没测到"长"这一维？

ICML 2026 这篇 LongCoT: Benchmarking Long-Horizon Chain-of-Thought Reasoning（Oxford + LLNL + MBZUAI 等联合出品）想解决的，就是这个被忽视的角落。他们造了一个 2500 题、5 领域（化学 / 数学 / CS / 象棋 / 逻辑）的基准，输入短（中位 2K token）、输出长（10K–100K+ token）、单步难度可控、不允许用工具，专门逼模型在自己的 CoT 里扛下整张依赖图。目前最强模型 GPT-5.2 全集准确率 9.83%，Gemini 3 Pro 6.08%，开源模型基本贴零。

下面这篇解读，写给做 AI+交叉（分子生成、程序分析、科学计算、复杂决策）的你——LongCoT 的设计哲学，比它的分数更值得拆。

02 为什么我们需要一个"只测长推理"的基准

作者开篇给的动机非常干净：当前三大类基准，没有一类真正测到了"长程 CoT 推理能力"本身。

• Frontier Reasoning 类（FrontierMath / HLE / FrontierScience）：题可以很难，但推理链一般 ≤10K token，且难的地方经常是"知识偏僻"而不是"依赖长"。

• Long-Context 类（LongBench v2 / MRCR）：输入长、输出短，测的是检索，不是生成长推理。

• Agentic 类（SWE-bench / TerminalBench / GAIA）：成绩 = 推理 + 工具 + scaffold 混在一起，你分不清是模型长脑子了，还是 bash / python 替它扛了。

LongCoT 的定位是做"隔离实验"：把单步难度压到 frontier 模型可解的水平，把难度全部压到"依赖图结构 + 长程状态维护 + 规划回溯"上。这样模型做崩了，就只能怪长 horizon 本身。

Table 1 把这套对比讲得最清楚——LongCoT 是唯一同时满足"短输入 / 长输出 / 难度可扩展 / 推理能力隔离 / 多领域 / 答案可验证"的基准。

Table 1：Comprehensive benchmark comparison，横向对比 Frontier Reasoning / Long-Context / Agentic 三类共 12 个基准与 LongCoT。

03 LongCoT 怎么造题：显式 DAG + 隐式过程

LongCoT 的题有两个大类，这个区分对做交叉的人特别有共鸣——因为真实科研任务也正好是这两种。

Explicit（组合模板）：依赖图是显式给的 DAG。每个节点是一个子问题，边表示"后一个子问题的参数来自前一个子问题的答案"。作者用了四种组合 motif：

• 线性链：N₁→N₂→…→Nₖ

• 多父 DAG：一个子问题聚合多个上游答案

• 条件分支：中间结果决定走哪条分支

• 强制回溯：给定目标输出，反向搜非可逆函数的输入

数学、化学、CS 的大部分题是这类。比如化学里先认分子 → 匹配 SMILES → 预测反应产物 → 再拿产物去做下一轮反应，9 个子问题串成 DAG，最终答分子直径三元组。

Figure 2：Simplified Long-Horizon Reasoning Problems，含 Chemistry（Reaction Cascade, 9 子问题 DAG）、Mathematics（Chained Competition, 14 子问题含环）、Chess（Minimax Pawn Capture, 30×30 棋盘）三个领域的依赖结构示意。

Implicit（过程模板）：规则隐含地定义了一个状态空间（规划树 / 约束图 / 博弈树），依赖图不直接给你，要模型自己展开。象棋、逻辑（Sudoku / Sokoban / BlocksWorld / Dungeon）基本是这类。比如象棋里那道 30×30 棋盘的 Minimax Knight Capture，Alice 想最大化总步数、Bob 最小化，要算最优策略下的总回合数——这是隐式博弈树。

Figure 3：EXPLICIT（compositional）与 IMPLICIT（procedural）模板的结构示意，含 DAG / 搜索树 / 环图 / 约束图 / 执行轨迹五类。

领域分布：每领域 500 题（10 模板 × 50 参数化实例），分 easy / medium / hard。另抽 500 题做成 LongCoT-mini，给非 frontier 模型留一点血皮（GPT-5.2 在 mini 上 38.7%，开源 Kimi K2 / DeepSeek V3.2 能摸到 7–8%）。

关键设计哲学：不允许用工具。原因很硬——一旦允许 code exec，模型就把依赖图外包给外部搜索 / 仿真了，LongCoT 想测的"模型自己能不能在 CoT 里扛长依赖"就被绕开。作者在 4.2 节拿 RLM（Recursive Language Models，允许子 agent + code exec）做了对照：code 开后 Logic 68.3%、Chess 30.6%，但 explicit compositional 域（Math / Chem）仍是 0%。也就是说，只要依赖图是必须自己扛的，脚手架救不了你。

04 主流模型成绩：GPT-5.2 也只 9.83%

全集中（2000 medium + 1250 hard）结果相当残酷：

Figure 4：Main results on LongCoT-mini（左）和 LongCoT（右），柱状图对比 8 个模型。

而且 GPT-5.2 平均每个题烧 62K token 推理——也就是说它愿意花力气，但还是做不对。图 1把"推理 token 数 vs 准确率"画出来，趋势是"肯烧 token 的模型成绩更好"，但天花板极低。

分 domain 看（Figure 5），同一模型在不同领域成绩居然挺稳——说明 LongCoT 测的不是"化学知识"或"象棋水平"，而是跨领域的长程推理通用能力。这也回应了作者的设计初衷：难度来自依赖结构，不来自领域知识。

Figure 5：LongCoT domain-specific results，5 领域横向对比各模型。

附录里 Table 2–6 把每个模板 × 难度拆开给了，几个有意思的点：

• Math 的 Backtrack 模板 hardest 档 GPT-5.2 只 2%，因为要反向搜非可逆函数，错误传播极狠

• Chemistry Gemini 3 Pro 在 easy 档反而比 GPT-5.2 高（54% vs 46%），但 hard 档两家都贴地

• Chess Template 9（Maximum Rook Placement） 所有模型 hard 档 0%——这是最大二分匹配 + 障碍删除，全局结构直觉会破

• CS 的 Program Sim / VLIW / Matmul 相对是模型活得最好的子域，因为步骤规则明确、状态好追踪

Table 2（Logic）、Table 3（CS）、Table 4（Chemistry）、Table 5（Chess）、Table 6（Math）——每个表都是 Template × Difficulty × 7 模型矩阵。

05 两个最值得交叉学科研究者盯的实验

实验一：难度来自"依赖"，不是"长输出"

作者做了一个干净消融：同一批 Math 子问题，一组串成 DAG 让答案互相依赖，一组打散在同一个 prompt 里独立作答，leaf 节点评分标准一样。

结果：

• Medium：独立 58% → 串起来 8%

• Hard：独立 55% → 串起来 4%

• Token 用量两边差不多

也就是说，LongCoT 的难不是"输出长"导致的上下文衰减那么简单——而是"你必须把前面每一步的答案正确喂给后面，错一个全崩"的 compositional pressure。这对做分子流水线、多步仿真、程序静态分析的人应该很熟悉：系统不是被"长度"打倒的，是被"依赖链上第一个错"打倒的。

实验二：节点数越多，模型崩得比"独立误差乘积"还快

Figure 6 把 Omni-Math 子问题按 DAG 节点数 1–35 扫了一遍，所有模型在 >15 节点后陡降。关键是：观察准确率远低于"假设各节点独立犯错"的基线（Motwani et al. 的 independent error baseline）。

Figure 6：Accuracy vs number of composed nodes，含独立误差基线对照。

这意味着长 horizon 引入了新的失效模式，不是"单步傻"，而是：

• 早期规划差 → 中后期卡死还不回溯

• 错值沿依赖传播 → 但模型在中后期才察觉，已经回不去

• 上下文有效容量耗尽 → 后期开始猜

• 提前放弃（retry 能做出来的题，单次就跪了）

作者在 Appendix C 的 trace 分析里用 GPT-5-mini 把 DeepSeek V3.2 / Kimi K2 的 LongCoT-mini 轨迹切成 Setup / Planning / Solving / Verification / Stuck / Backtracking 六类，发现错轨迹的 Backtracking 占比反而是对轨迹的 2 倍左右（DeepSeek 4.2% vs 2.3%；Kimi 4.2% vs 2.0%）——模型不是不回溯，是"乱回溯"；对轨迹则把更多 budget 花在 Setup / 问题理解上（DeepSeek 20.6% vs 17.0%）。这个信号挺值得做推理训练的团队琢磨。

06 对 AI+交叉学科的几条具体启发

LongCoT 虽然题是"合成"的（参数化模板），但它戳到的几个痛点，在真实交叉任务里几乎一一对应：

1. 分子 / 材料设计的"反应 cascade"就是显式 DAG  

LongCoT 化学模板里 Mol-1→选→反应→Mol-3→再选→再反应… 这条链路，跟真实 CADD 里"虚拟库筛选 → 合成路线规划 → 性质预测"的流水线是同构的。当前很多"AI for Science" benchmark 还是单步（预测这个分子活性），但真实科研是 10–20 步串起来的——LongCoT 提示我们：下一步的评测重点应该是"整条 pipeline 端到端可不可靠"，而不是"每步 SOTA 叠起来"。

2. CS 域的"程序模拟 + 链式调度"对 AI 编译器 / 静态分析是直接可用的测试床  

LongCoT CS 模板里有 Hindley-Milner 类型推导追踪、Edmonds-Karp max-flow 多轮、VLIW 调度、MPI 分布式内存追踪、LLVM IR 链式 opt——这些题的"单步"所有模型都会，但串 8 个子问题 DAG 后 GPT-5.2 也只 9.7%。如果你做 AI for Code，LongCoT-CS 是可以直接当 probe 用的。

3. "依赖图结构"是下一个推理训练要啃的骨头  

RLM + code exec 在 implicit 域（Logic / Chess）能拉到 30–68%，但 explicit compositional 域（Math / Chem / CS 的 DAG 类）仍是 0%——说明只要依赖图必须自己扛、不能外包给 solver，当前所有方法都跪。这其实指向一个被低估的方向：能不能让模型"学会画依赖图 + 在自己 CoT 里按图执行"？而不是一味堆 test-time compute。

4. 长推理的 failure mode 比分数更有信息  

附录 C 列的那几条（early planning 差、error compound 不自知、不回溯、提前放弃、shortcut 导致 loop），在你自己的领域里大概率也能对上号。比如你让模型跑 20 步数值积分 + 判收敛，它大概率在第 12 步就开始"假装收敛"了。

07 方法论层面的判断

LongCoT 这篇最值得肯定的地方，是它把"长推理"这件事从 confound 里摘出来了——不长输、不靠工具、不考冷知识，纯粹测"模型能不能在自己生成的几万 token 里，把一张依赖图走完且不错"。

这个分数（GPT-5.2 @ 9.83%）短期内会被刷上去，但它的构造思路——专家写参数化模板 → 控制单步难度 → 把难度全部压到依赖结构上 → 无工具、可验证——会比分数活得更久。尤其对 AI+交叉的课题组：如果你自己做某个垂域的"长程推理"评测，LongCoT 这套模板化 + 依赖图显式化的办法，是可以直接搬的。