虽然大语言模型（large language models，LLM）在科学发现（scientific discovery）方面展现出前景，但现有研究主要集中于推理或反馈驱动的训练，而忽略了对生成推理过程的直接建模。P（h | b ），尚未探索。我们证明直接训练P（h | b ）由于组合复杂性，在数学上难以处理O（Nk）从庞大的知识库中检索和组合灵感本身就存在固有的困难。为了打破这一障碍，我们引入了 MOOSE-Star，这是一个统一的框架，能够实现可控且可扩展的训练。P（h | b ）同时支持更具可扩展性的推理。在最佳情况下，MOOSE-Star 将复杂度从指数级降低到对数级O（logN）通过以下方式提高模型性能：(1) 基于概率发现方程分解出的子任务进行训练；(2) 采用动机引导的分层搜索实现对数检索并剔除无关子空间；(3) 利用有界组合增强对检索噪声的鲁棒性。为此，我们发布了 TOMATO-Star 数据集，其中包含 108,717 篇已分解的论文（耗时 38,400 GPU 小时）用于训练。实验表明，MOOSE-Star 的性能随着训练数据量和推理预算的增加而持续提升，而直接的暴力采样则会遇到复杂度瓶颈。

论文：MOOSE-Star: Unlocking Tractable Training for Scientific Discovery by Breaking the Complexity Barrier

单位：MiroMind AI

发布日期：2026年

请索引第115篇论文

这篇ICML 2026的MOOSE-Star——它解决的是一个很"反直觉"的问题：我们一直让LLM做科学发现，但从来没人认真问过，直接训P(hypothesis|background)到底能不能训得动。答案基本是"不能"，而这帮作者不仅把"不能"的数学原因证了出来，还给了四把扳手把它拧成"能"。

01 反向传播的本质是"微积分+多层逻辑回归"

论文开篇那个例子很妙——反向传播的发现，本质上就是把"多层逻辑回归"这个background，和微积分里的"链式法则"这个inspiration拼在一起。这不是修辞，是他们整个理论的形式化起点：

一个假设h，不是从天而降的，而是background b + 一串潜变量inspiration i₁…iₖ 拼出来的：h = f(b, i₁, …, iₖ)

认知科学里Koestler的"bisociation"、Benedek的联想创造力研究，都站这个立场。所以问题来了——如果你要让LLM学会P(h|b)，它其实隐含在做一件事：从一个N≈10⁷量级的文献库里，按顺序挑出k个正确的inspiration，再一个个拼上去。

组合空间多大？O(Nᵏ)。k=3的时候≈10²¹。

这就是论文标题里那个"Complexity Barrier"的来历。

02 为什么之前的"AI Scientist"工作都没碰这事儿

作者泼了一盆冷水：现有LLM for Scientific Discovery的工作，99%都在搞推理时方法（怎么让模型更好地猜），或者反馈驱动微调（猜完了拿review/data/rubric打个分再改）。没人真正去建模P(h|b)本身。

换句话说，大家都在训"怎么改假设"，没人训"怎么从背景直接生出假设"。

前者是P(h'|h, feedback)，后者才是P(h|b)——而后者才是"科学家脑子里那一下"的核心。

为什么没人碰？因为这事儿数学上ill-posed。端到端训P(h|b) = 在Nᵏ的空间里学采样，样本效率会崩。后面Table 5会给你看崩得多离谱。

03 MOOSE-Star：从O(Nᵏ)一路干到O(log N)

论文最核心的贡献，是把这一个monolithic的烂摊子，拆成四个渐进的改造。每加一把扳手，复杂度掉一档。

Decomposed Sequential Training → O(k·N)

把P(h|b)按Markov链拆成k步，每步两件事：

• IR（Inspiration Retrieval）：给定b和hⱼ₋₁，从全库里挑iⱼ → O(N)

• HC（Hypothesis Composition）：拿iⱼ去写Δhⱼ → O(1)

  
  

合起来O(k·N)，指数变线性。这是把MOOSE-Chem那套本来只用来做inference的公式，第一次拿来训模型。

训IR的时候，每个样本给15篇候选（1正14负，负例分easy random / keyword硬负 / embedding硬负三档），让模型做generative selection。训HC的时候用teacher（R1-Distilled-Qwen-32B）拒绝采样，rubric打分只留高质量Δh。

Bounded Composition → 检索容忍噪声

IR不可能每次都捞到exact i*。作者很实在：干脆让HC在训的时候就见一见"不那么准的i"。

做法：给每个i在Semantic Scholar上找50个近邻，按SPECTER2相似度分层——Easy [0.94,0.97)、Medium [0.92,0.94)、Hard [0.90,0.92)，每层挑一个代表当proxy，让teacher拿proxy写Δh，能通过rubric的就留。多个tier都过的话，优先留最难的那个*（相似度最低的）——这是刻意把模型的"语义容错半径"撑到最大。

复杂度账本：IR从O(N)→O(N/M)，HC从O(1)→O(M)，总O(N/M + M)。N≫M时净赚。

Hierarchical Search → O(log N)

即便O(N/M)，线性扫N≈10⁷还是太贵。于是把文献库先离线建一棵语义聚类树：SPECTER2嵌入 + 递归K-means，分支因子卡在c=15，后处理再平衡。

在线搜的时候用Best-First Search，节点排序分数用几何平均（防深层路径被累积概率惩罚）：

Score(pathⱼ) = (∏ᵗ₌₀ʲ pₜ)^(1/(j+1))

理想情况下树深就是O(log N)，再除以M，检索复杂度落到O(log(N/M))。

Motivation Planning → O(1)的"导航员"

层次搜索虽然快，但还是"无头苍蝇式"导航。作者在每步j加了一个轻量变量mⱼ——Motivation，由b和hⱼ₋₁直接推出来（O(1)成本），回答的是"这一步我想往哪个方向走"。

挂到查询里再去走树，相当于先验剪枝：有效搜索空间从N缩到Nₘ（Nₘ < N）。最终总复杂度：

C_MS ≈ k · [O(1) + O(log(Nₘ/M)) + O(M)]

从O(Nᵏ) → O(log N)，四把扳手接力完成的跳水。

对应的形式化也升级成了Tri-stage HMDP（式9）：Planning → Retrieval → Composition，每一步都有清晰的条件概率归属。附录B的推导挺干净，固定序假设后面还放了permutation-relaxed的推广版，严谨度在线。

04 TOMATO-Star：38,400 A800 GPU小时换来的10万+篇论文

光有框架没数据也是白搭。作者从NCBI抠了108,717篇开放获取论文（生物/化学/医学/影像/心理/认知，2020.1–2025.10），用DeepSeek-R1 + R1-Distilled-Qwen-32B做decompose，每篇拆成(b, h, i)三元组：

• b：研究问题 + 背景综述

• i：从原文citation里抠出来的ground-truth inspiration，再去Semantic Scholar补title+abstract

• h：拆成Δh序列，每个Δh对应一个iⱼ，且Δh强制写成三层结构——Motivation(WHY) / Mechanism(HOW IT WORKS) / Methodology(HOW INTEGRATED)

  
  

质量关卡四道：必要性、充分性、b/i/h互不泄密、i之间不冗余。最后严格时间切分——2025.10的论文当test set，防contamination。

38,400 A800 GPU小时。看到这个数字我第一反应是：这年头做科学发现数据集，烧卡比做实验还狠。

05 实验里两个细节

细节1：IR和HC的"不对称"

Table 1和Table 2摆在一起看很有意思：

• IR（7B after SFT）：54.37%，已经摸到Gemini-3-Pro(54.89%)屁股了

• HC（7B after SFT）：Total 4.68（满分12），离GPT-5.4的7.82差着一截

  
  

作者的解释我挺认同：IR更多的是把预训练里已经躺着的科学关联"激活+组织"出来，HC则更吃base model底子的科学推理&生成能力。换句话说，7B的"检索脑"能被SFT喂大，"创作脑"还是被参数天花板掐着。

联合训IR+HC的MS-7B，IR不掉(54.34%)、HC涨到5.02——多任务给composition加了inductive bias，这个trade值得记下来。

细节2：Bounded Composition真的让HC"抗造"了

Table 3是噪声实验，按proxy和i的语义相似度分Easy/Medium/Hard三档。w/ 2x bounded的HC，Hard档Total从2.39→2.56，MS-7B再叠一层到2.78。检索不准的时候，见过噪声的模型明显更稳*——这正好印证了"语义容错半径"那套设计不是摆设。

06 Table 5才是这篇论文最该被记住的一张表

作者拿R1-Distilled-Qwen-32B分别跑Brute-Force P(h|b)采样和Decomposed IR/HC，同模型同M3判官，比per-attempt pass rate

BF从k=1到k=3掉了41倍。而decomposed的两个子任务，pass rate几乎不随k塌——HC甚至还微微涨（因为后期step能拿hⱼ₋₁当上下文，methodology维度更好写，Appendix D表8把这事儿拆清楚了）。

这就是"复杂度墙"的实证版本：brute-force要一次sample中k个创新点，成功概率≈pᵏ；decomposition把它切成k个单步决策，每步bounded success rate。

07 测试时缩放：MOOSE-Star vs Brute-Force

图3的实验设计挺鸡贼——109篇test paper（共200个inspiration step），x轴是累计inference call数，y轴是"MOOSE-Star的假设 vs 每个BF样本，Gemini-3-Flash判谁更像ground-truth h*"的win/tie率。

结果：

• BF砸到~9500 call，saturation在38.5%

• MOOSE-Star ~6000 call预算下跑完109篇

• 按k拆：k=1时BF还能打(~53%)，k=2掉到~37%，k=3掉到~8%（strict win 0%）

  
  

Appendix E还给了个failure-probability视角的解释：BF的hard-tail pᵢ≈1的instance，采样再多也盖不到；MOOSE-Star把"找灵感"外置成结构化检索、"写假设"变成条件生成，per-attempt难度降一档，scaling曲线就拉开了。

08 时间泛化：2025.10的"未来论文"能复现多少？

Appendix F在200篇2025.10论文上测（严格说这些不在base model cutoff和post-training数据里），灵感库3035篇候选：

• Rank≤50捞到gt inspiration的比例：28%

• 捞到之后HC用GPT-5.4当backend、M3≥8的比例：16.5%（Rank≤50那一档）

  
  

Table 10把MS-HC-7B / MS-7B / GPT-4o / GPT-5.4 / DeepSeek-R1 / Claude-Sonnet-4.6 / Gemini-3-Pro全列了，frontier model当HC backend确实比7B自个儿能打——再次印证"检索是瓶颈之一，但composition质量也决定上限"。

案例他们选了一篇k=2的：TREM2 + 脊髓损伤微胶质细胞 + 溶酶体膜通透化(LMP) + TFEB。Step 0捞到LMP那篇（rank 12/3035），Step 1捞到TFEB那篇（rank 1/3035），两步Δh拼起来和真实paper的hypothesis结构高度对齐。这个case值得做AI4Science的人细看——它展示了"多灵感sequential组合"长什么样，而不只是k=1的toy。

09 给AI+交叉学科读者的三个takeaway

1. P(h|b)直接训不是"难"，是"组合数级错配"

别再指望拿brute-force RFT直接蒸P(h|b)了，Table 5的0.23%已经把路堵死。要么走feedback-driven（MOOSE-Chem3/AlphaEvolve那条线），要么就像这篇一样，把发现过程拆成retrieval+composition两条可训的子任务。

2. "语义容错半径"是个被低估的设计维度

绝大多数RAG/检索增强工作都在卷"retriever召回率"，但这篇提醒你：如果composer能在M-sized邻域里自己推理回i，retriever的压力可以外推M倍*。Bounded Composition的训练策略（分层proxy + 优先留最难）是通用技巧，不绑定科学发现场景。

3. 数据集的"可分解性"比"规模"更值钱

TOMATO-Star烧了38400 A800 GPU小时，但烧得方向对——它不是堆100k篇paper完事，而是每篇都拆(b, {Δhⱼ}, {iⱼ})且Δh强制三明治结构(WHY/HOW IT WORKS/HOW INTEGRATED)。这种结构化标注才是能让模型学到"发现逻辑"而不是"背摘要"的关键。后面做AI4Science dataset的，建议把附录H的M3 rubric借去当模板。

顺带一提，这篇是MiroMind Zonglin Yang和Lidong Bing的连续作（MOOSE-Chem → MOOSE-Chem2 → MOOSE-Star），脉络很清楚：从inference → 层次搜索 → 现在把training也打通。代码和TOMATO-Star都在GitHub/HuggingFace挂了，7B模型单卡能跑，想复的可以去薅。

图注索引（对应论文原图）：

• 概念图（宇宙找星隐喻）：对应user_doc_image_4

• 复杂度四档演进公式：对应user_doc_image_1

• 训练缩放曲线Fig2a/b：对应user_doc_image_2

• 测试时缩放Fig3a/b：对应user_doc_image_3

表格引用：Table 1(IR)/Table 2(HC)/Table 3(Bounded噪声)/Table 5(BF坍塌)/Table 10(时间泛化) 均已嵌入正文对应位置。