上交大&阿里巴巴：AI大模型"想清楚"靠什么？科学家找到了推理过程中的"信息高速公路"

这项由上海交通大学、阿里巴巴集团和上海人工智能实验室联合开展的研究，于2026年6月发表，论文编号为arXiv:2606.10646，有兴趣深入了解的读者可以通过该编号查询完整论文。

**当AI答题时，它的"大脑"里在发生什么？**

每当你向一个AI助手提出一道数学题，或者请它分析一段逻辑推理，它都会生成一长串文字作为答案。这串文字里，有的句子是真正的关键推理，有的则只是"嗯，我们来看看……"这样的过渡话语。从外表看，这两类文字毫无区别，AI系统在训练时也往往把它们一视同仁——每个字、每个词得到的"奖励"或"惩罚"完全一样。

这种"无差别待遇"带来的问题就好比，你在培训一个学生解数学题，无论他写下的是关键的推导步骤，还是"已知条件如下"这样的废话开场白，你给出的分数比例是完全相同的。结果自然是学生不知道哪些步骤真正重要，训练效率大打折扣。

研究团队把这个问题称为"token级别的信用分配难题"（token是AI处理文字的基本单位，可以理解为每一个字词或标点）。他们提出的解决方案叫做**FlowTracer**——一个通过追踪AI内部"信息流动路径"来判断哪些词汇真正关键的框架。简单说，FlowTracer要做的事情，是在AI的推理过程中找到那条贯穿始终的"信息高速公路"，然后只对走在这条高速公路上的"关键站点"加大训练力度。

**一、为什么AI训练会陷入"一视同仁"的困境**

要理解这个问题，先得了解现代AI是如何通过强化学习来提升推理能力的。

强化学习的逻辑其实很直白：让AI做一道题，如果最终答案对了，就给整个回答过程中的所有词语都加一点"正分"；如果答错了，就全部扣分。这就像老师批改作文，不管哪句话写得好不好，只要整篇文章及格了，就给每个字都打同等分数。

问题在于，一篇几百词的推理回答里，真正决定成败的关键步骤可能只有寥寥几处，大量的文字是引导性语言、格式性描述或者是"因此我们知道……"这样连接性的过渡词。当AI系统对全部词语一视同仁地奖惩时，真正的关键步骤被"稀释"了，训练信号变得模糊。

已有一些研究者尝试用启发式方法来区分重要词语和普通词语，比如看某个词的预测"不确定程度"（熵值）是否高，或者看它的注意力分数是否显眼。但这些方法本质上都是在看单个词的孤立特征，就像你判断一个人在讨论中有没有发言权，只看他说话时的音量，而完全不考虑他说的话有没有被后续讨论所引用和延伸。

研究团队的核心洞察是：真正重要的词语，不仅自身要在"对的位置"，还要作为信息的**中转枢纽**，把上文的关键信息传递给下文，最终影响到答案。这是一种全局性的、多跳式的影响，而非单点的显著性。

**二、把AI的推理过程想象成一张"水管网络"**

FlowTracer的核心思路，可以用一个水管网络的比喻来理解。

每当AI生成一段推理文字，每个词语就像一根水管上的节点。AI在生成每个词语时，会"注意"到前面哪些词语（这就是著名的"注意力机制"，Attention），注意力越高，说明两个词语之间的"水管管径"越粗，信息流动越通畅。研究团队把这个注意力关系整理成了一张有向图：图里每个节点是一个词语，每条有向边从被"注意"的词语指向"注意它"的词语，边的粗细代表注意力的强弱。

但有一个麻烦：原始的注意力数据存在两个致命缺陷。

第一个缺陷是"流量守恒"被破坏。在真实水管网络里，一条管道流入多少水，流出的水量总和也应该是多少——这叫流量守恒。但在注意力图里，一个词语"被注意"的总量是固定的（因为注意力权重归一化为1），但它"主动注意别人"的总量却不一定等于1。如果一个词语被很多人注意，它的"出口流量"就会被放大；如果被忽视，则会萎缩。这导致单纯用注意力传播信息时，位置靠后的词语会因为"积累了太多上游流量"而显得异常重要，早期的关键词则可能因路径太长而被稀释。

第二个缺陷是"无关支路太多"。在AI的推理文字里，有大量词语根本不对最终答案有贡献，但它们之间仍然存在注意力连接。如果把所有注意力关系都纳入计算，大量的"信息流"会流向这些死胡同，就像水管网络里有很多通向废弃管道的支路，白白耗散了流量。

**三、"答案导向"的水流净化：Doob变换的妙用**

为了解决这两个问题，研究团队引入了一种叫做"Doob-h变换"的数学工具。这个名字听起来很学术，但背后的逻辑其实相当直观。

研究团队先定义了一个"答案区域"，也就是AI回答中最终给出答案的那几个词语（比如数学题答案、选择题选项等）。然后他们为每一个词语计算一个"可达性"分数，衡量的是：如果信息从这个词语出发，按照注意力关系向前传播，最终有多少比例能够抵达答案区域？这个分数被记为h(i)。

直觉上，一个词语如果位于"通往答案"的主干道上，它的h值就高；如果它处于一条无关的支路，注意力流动最终无法到达答案，它的h值就接近零。

接着，研究团队对所有注意力边进行了"重新标定"：把原来的边权重乘以下游词语的h值，再除以当前词语的h值。这个操作有一个精妙的后果——数学上可以严格证明，经过这个变换之后，每个词语的"出口流量总和"恰好等于1。也就是说，流量守恒自动恢复了，同时所有通向死胡同的支路（h值接近零的路径）也被自动压制到接近零。一张嘈杂的注意力图，就这样被净化成了一张干净的、专门为答案服务的信息流网络。

研究团队在论文中给出了这一性质的严格数学证明（定理3.1），核心推导其实只需要一步代入，简洁而有力。

**四、从"问题"注入水流，找出关键枢纽**

经过上述净化之后，下一步就是找出哪些词语是信息传递的关键枢纽。

研究团队设置了一个虚拟的"超级源头"，把等量的信息流注入问题区域的每一个词语（即AI输入的题目或问题）。然后让这些信息流顺着净化后的网络向前传播，每到达一个中间词语就记录下经过该词语的流量。最后，还设置了一个"超级汇点"，连接在答案区域，收集所有流量。

每个词语的"吞吐量"——也就是流经它的信息总量——就是它的重要性得分。吞吐量高的词语，意味着大量来自问题的信息通过它汇聚、中转，然后继续向答案传递。这些词语就是研究团队所说的"推理骨干"上的关键节点。

值得注意的是，吞吐量的计算方式考虑了一个词语的"流入量"加上它向后续词语传出的"边流量"之和，确保信息在每一步的传递都被完整记录，不遗漏任何中转角色。

**五、用实验验证：关键节点真的关键吗？**

有了这套理论，研究团队在实际数据上进行了验证。他们使用阿里巴巴开源的Qwen3-4B基础模型，在GSM8K（一个小学数学应用题数据集）上分析了信息流的分布特征。

观察结果相当有意思。高吞吐量的词语，在词云分析中主要呈现为两类：一类是结构性的分隔符，比如标点符号、换行符；另一类是数学推理中的"符号锚点"，比如反复出现的变量名、运算符。这些词语周期性地出现在推理文字的关键节点处，每隔一段就"汇聚"一次前面的信息，然后向后"广播"。反观低吞吐量的词语，则主要是名词、动词这类语义丰富但功能性较弱的词汇，它们让句子读起来通顺，但对信息传递的贡献有限。

这个发现揭示了一个有趣的规律：AI的推理过程在某种意义上自发地把"生成逻辑"（高流量词语）和"维持流畅"（低流量词语）分离开来了。

为了验证这些高流量词语确实是"因果性的"关键节点，而不仅仅是统计上的显著，研究团队做了一个干预实验：在GSM8K的500个样本上，选取20%的词语，分别对高流量、低流量和随机选取的词语进行"屏蔽"——即在重新生成时，阻断这些词语位置上的信息传递，然后重新生成答案，看看答案会有多大变化。

结果非常清晰。屏蔽高流量词语时，答案变化率高达45.9%，正确率逆转率（原来对变成错）达到14.9%；屏蔽低流量词语时，答案变化率仅14.9%，正确率逆转率只有0.5%；随机屏蔽介于两者之间。这组数据有力地说明，高流量词语不是表面上显眼，而是真正承担着推理过程中的信息中转职责。

**六、把"流量地图"用于AI强化训练**

有了每个词语的吞吐量得分，研究团队接下来把它用于强化学习训练。

当前主流的AI强化训练方法叫做GRPO（组相对策略优化），它的基本逻辑是：让AI生成多个回答，对比哪些回答更好，然后对好的回答里的每个词语给正向激励，差的回答里的词语给负向抑制。标准GRPO对每个词语给予相同的"权重"，即每个词语的激励力度完全一致。

FlowTracer的改动非常简单但有效：在GRPO的损失函数中，对高流量词语（选取吞吐量排名前40%的词语）的激励系数乘以1.5，其余词语保持系数为1。也就是说，高流量词语得到更强的"鼓励或惩罚"，促使模型更努力地优化这些真正关键的推理步骤，而不是把精力均摊到那些无关紧要的填充词上。

实现上，这个操作只需要在AI采样生成回答之后、正式更新参数之前，额外做一次前向传播，提取中间层（约模型总层数的三分之一到三分之二处）的注意力图，计算流量，标记高流量词语，然后在训练时调整相应权重。这个额外的计算开销极小，在1K上下文长度下只增加约2.2%的时间，8K上下文下约增加4.5%，完全可以接受。

**七、实验结果：在多个任务上全面胜出**

研究团队在多个任务和多种模型上进行了系统验证，结果显示FlowTracer相比基线方法有稳定提升。

在数学推理任务上，以Qwen3-8B为骨干模型，FlowTracer在1K上下文长度下的平均准确率达到43.4%，而标准GRPO只有39.4%，提升了4.0个百分点。在最难的竞赛级数学题（AIME2024）上，FlowTracer达到13.0%，GRPO只有9.3%。与此同时，FlowTracer也超越了其他五种基线方法：随机选词、高熵值选词、梯度大小选词、相关性选词，以及原始注意力分数选词，且优势较为稳定。

更值得关注的是长上下文场景。当回答长度从1K扩展到8K时，标准GRPO受益于更长的推理链，但FlowTracer的提升幅度更大。以Qwen3-4B为例，在1K下FlowTracer比GRPO平均高2.2个百分点，在8K下扩大到3.8个百分点。在AIME2025这道题上，8K设置下FlowTracer相对GRPO的增益达到惊人的5.8个百分点。这说明随着推理链变长，精准的信用分配变得愈发关键，而FlowTracer的优势也更加凸显。

在数学之外的任务上，FlowTracer同样表现出色。在"Countdown"任务（给定4个数字，用四则运算凑出目标数）上，FlowTracer比GRPO高出10.6个百分点，比注意力方法高出2.8个百分点，显示出在组合规划类任务中，结构化的信息追踪尤为重要。在"CrossThinkQA"（跨领域多选题）上，FlowTracer也稳定高于其他方法2.2个百分点。

研究团队还在不同的模型架构上进行了测试，包括Llama-3.1-8B和Llama-3.2-3B，结果显示FlowTracer的优势在这两种架构上同样存在，排除了结果依赖特定模型设计的可能性。

**八、细节打磨：为什么是"前40%"而不是连续分值？**

研究团队在论文中详细分析了一些设计选择的合理性，这些细节值得单独介绍。

首先是为什么用"离散的Top-40%硬门槛"，而不是把每个词语的流量值直接当作连续权重。原因在于，AI推理中的流量分布高度偏斜：极少数词语承担了绝大多数的流量，大量词语的流量值接近零。如果直接用原始流量值作为权重，少数极端高流量词语会得到压倒性的权重，导致训练不稳定；即使经过Sigmoid、Log变换等归一化处理，性能也不如硬门槛好。研究团队尝试了多种连续权重方案，均劣于Top-40%的硬门槛策略。这个规律说明：流量分数作为**排名信号**是可靠的，但作为**校准过的连续权重**则噪声太大。

其次是选多少比例的词语。实验显示，Top-20%覆盖的骨干节点太少，增益有限；Top-60%引入了过多噪声词语，反而稀释了信号。Top-40%在信号密度和覆盖范围之间取得了最佳平衡。

再次是权重系数γ的选择。系数为1.5时效果最佳，过小（如0.5）则区分度不够，过大（如2.0、3.0）则训练崩溃，说明适度强调关键词语有益，但过度放大则有害。

最后是提取哪些层的注意力。实验发现，使用Transformer中间层（约从总层数的三分之一到三分之二）的注意力效果最佳，早期层（偏向句法处理）和晚期层（偏向输出生成）的注意力反而会引入噪声。只使用中间层的注意力，推理骨干的信号最为清晰。

**九、一些值得思考的局限性**

研究团队在论文中坦诚地指出了FlowTracer的几个局限，这体现了科学研究应有的严谨态度。

FlowTracer目前需要预先定义一个明确的"答案区域"——即推理文字中哪一段是最终答案。对于数学题这类结构清晰的任务，\boxed{}这样的格式标记可以精准定位答案区域。但对于开放式对话、工具调用轨迹等场景，答案区域的边界模糊，需要更灵活的定义方式。

此外，FlowTracer依赖"答案是否正确"这一结果信号来区分好坏推理路径。但有时候，某条推理路径局部看起来合理，却导向了错误答案；另一条路径整体逻辑有瑕疵，却碰巧得到正确答案。在这些情况下，FlowTracer无法完全替代"过程监督"类方法（即对每一步推理的对错单独打分）。两者是互补而非互斥的关系。

最后，对于超长上下文（16K、24K甚至更长），注意力图的噪声会更大，FlowTracer的效果有待进一步研究和优化。

说到底，FlowTracer解决的是一个看似简单实则微妙的问题：在AI生成的一长串推理文字中，哪些词语真正在"思考"，哪些只是在"说话"？通过把AI的注意力关系转化为一张可计算的信息流网络，并用答案导向的方式净化这张网络，研究团队找到了一种比以往方法更全局、更结构化的信用分配方式。实验证明，这种方式能让AI的强化训练更有针对性，在多种任务上带来稳定的性能提升，尤其在长链推理场景下优势更为突出。

这项研究的另一层意义在于，它表明AI模型的内部注意力结构不仅仅是一种可解释性工具，还可以作为改善训练过程的实用信号。AI的"内部几何"蕴含着比我们通常假设的更多有价值的信息。有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2606.10646查阅完整论文。

---

Q&A

Q1：FlowTracer是如何判断哪些词语在AI推理中更重要的？

A：FlowTracer将AI生成文字时的注意力权重构建成一张有向图，然后通过一种叫"Doob-h变换"的数学工具对这张图进行净化，只保留能影响最终答案的信息路径，同时修复流量不守恒的问题。净化后，从问题区域注入信息流，流经某个词语的信息量越大，说明该词语是信息传递的关键枢纽，重要性越高。

Q2：FlowTracer训练AI时具体改了什么？

A：FlowTracer在标准GRPO强化训练流程中，对流量排名前40%的高吞吐量词语，将其训练激励系数从1提升到1.5，其余词语保持不变。这意味着那些真正关键的推理步骤在训练时会得到更强的正向或负向反馈，而无关紧要的填充词得到的训练信号则相对较弱，让模型更专注于优化真正重要的推理步骤。

Q3：FlowTracer在计算上的额外开销有多大？

A：FlowTracer在AI采样生成回答后，额外做一次批量前向传播来提取中间层注意力图，计算流量分数。实测在1K上下文长度下额外时间开销约为2.2%，8K上下文下约为4.5%，相比整个训练步骤的时间可以忽略不计。