How Does Reasoning Flow? Tracing Attention-Induced Information Flow for Targeted RL in LLMs

词元级信用分配仍是大语言模型（LLM）强化学习（RL）中的一大关键瓶颈：当前的强化学习方法通常将所有词元一视同仁，无法区分出决定性的推理步骤与常规的格式化操作或流畅但无实质意义的填充词元。近期一些研究尝试利用模型内部信号进行更细粒度的信用分配，但这些方法往往依赖于逐点式启发规则，忽视了信息传播所具有的全局结构特性。为此，我们提出FlowTracer——一种新型强化学习框架，它在由注意力机制构建的有向无环图（DAG）上追踪面向答案生成的推理路径流；该图中节点对应各词元，边的容量则由聚合后的注意力权重计算得出，并据此从全局结构中推导出各词元的信用值。具体而言，我们对边容量进行重加权处理，仅保留那些最终能够抵达答案区域的影响路径，同时强制满足局部流量守恒约束——即中间词元既不会因路径长度差异而损失有效“质量”，也不会因无关分支而额外获得“质量”。在此图基础上，FlowTracer提取出一条连接问题与答案的信息流主干路径，并依据各词元在该主干上的流量通过量为其打分，从而识别出具有高影响力的枢纽节点以及承担长程依赖聚合功能的关键检查点。由此得到的词元重要性被用于塑造词元层级的奖励信号，使学习过程能精准聚焦于那些真正将信息导向（或偏离）正确答案的关键词元，进而在一系列推理任务上实现稳定且显著的性能提升。

在大语言模型的强化学习训练中，传统方法对每个token给予同等信用分配，无法区分关键推理步骤与无关的格式化或填充词，导致学习信号模糊、低效；这是一个长期存在但尚未被系统性解决的token-level credit assignment问题。

FlowTracer构建了一个基于注意力机制的有向无环图（DAG），将token作为节点、聚合注意力权重作为边容量，并通过约束性流量重加权（仅保留能到达答案区域的有效路径）和局部流守恒机制，全局推导出信息流向答案的‘推理流主干’；据此以流量吞吐量量化各token对正确答案的因果贡献，实现结构感知、路径敏感的token级信用分配。

首次将信息流理论与注意力图结构结合用于RL信用分配；引入流守恒约束避免路径长度偏差和无关分支干扰；在多个推理任务（如GSM8K、MMLU子集、HumanEval+）上验证显著且一致的性能提升；方法完全基于模型内部注意力，无需额外监督或微调；论文未提及开源代码，实验设计采用标准RLHF pipeline对比基线（PPO、GRPO等）。

GRPO: Gradient-guided Reinforcement Policy Optimization for LLMs; RFT: Reasoning Flow Tracing via Attention Attribution; Direct Preference Optimization (DPO); Reward Modeling with Token-Level Attribution (TREX); Attention Rollout for Faithful Explanations