微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 TreeOPSD:把长程智能体的稀疏奖励,变成一条会自己刹车的教学轨道

TreeOPSD:把长程智能体的稀疏奖励,变成一条会自己刹车的教学轨道

2026-11-21 07:04
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-21 07:04 • 科技行者

先讲一个训练现场的画面。

你手里有一个会搜索、会点开网页、会翻页、会记笔记的 AI 助手。它接到一个问题,开始干活。它可能查了十几次、翻了七八个页面、写了很长一段思考,最后给出答案。然后评分器告诉它:对,或者错。

一个比特。

如果是错,那么这一整条轨迹里那十几次搜索、七八个页面、几千个思考 token,全部被判了同一个罪名。可这里面明明有几步是聪明的,比如它第一次搜索就命中了关键人物,只是后面某一页读错了行;也有几步是愚蠢的,比如它在同一个关键词上反复绕圈。但它们拿到的奖罚一模一样。

这就是长程智能体强化学习最不舒服的地方。这篇来自清华大学与腾讯基础模型部的论文,处理的就是这个不舒服:怎么在只有一个终局对错的情况下,把信用准确地分给每一个中间回合,并且让这份信用在训练后期不会失控。

一个比特的信息量,喂给几十个回合

先把背景铺平。

大模型的强化学习有一个很好用的分支,叫 RLVR*:可验证奖励的强化学习,用程序自动判对错(数学题对答案、代码跑测试、问答比对标准答案)来代替人类打分,因此可以大规模扩展。*

它最早的主战场是数学和代码。模型输出一整段思维链,最后给一个答案,对就加一分,错就零分。后来大家发现,这套东西可以往"智能体"方向推:模型不再一口气写完,而是和环境来回交互,先想一想,然后调用工具,看返回结果,再想,再调用。

这类多回合轨迹的形式有一个专门的名字,叫 ReAct*:Reasoning and Acting 的缩写,指模型把"推理"和"行动"交替进行,每一回合产出一段思考加一个动作,环境返回观察结果。*

问题随之出现。数学题可能就几百个 token,一次回答即一步。而一个深度研究型的智能体,动辄几十个回合,每一个回合都在做决策:搜什么词、打开哪条结果、在哪一页找什么、什么时候停。终局只有对错两档。

在本文之前,这个方向上最主流的做法是 GRPO*:Group Relative Policy Optimization,把同一个问题采样出的多条完整轨迹放在一起按奖励标准化,用组内相对好坏代替价值网络来估计优势。*

GRPO 的做法是把一条轨迹的总优势,平均地摊到这条轨迹的每一个 token 上。所以如果它采了 8 条轨迹,其中 3 条对、5 条错,那 3 条里的每一个动作,包括那些明显走弯路的动作,都被鼓励了。

论文在一个具体场景里量化了这件事的后果。以 Qwen3-30B-A3B-Thinking-2507 为基座,在深度研究任务上,GRPO 训出来的平均准确率是 16.23,其中 BrowseComp-Plus 只有 10.36。这不是一个能用的数字。

更麻烦的是第二重困境。训练不是采一批数据就更新一次,而是采一批数据、切成分片、连续更新好几刀。每一刀之后,当前策略都离生成这批数据的那个旧策略更远一点。这个偏差叫策略陈旧*:policy staleness,指参数已经更新过的策略,和当初采样数据的策略之间产生了分布差异,后续更新实际上是在用旧数据训练新策略。*

主流对策是重要性采样比率加裁剪。比率是"新策略生成这个动作的概率除以旧策略的概率",裁剪是为了不让单步更新过猛。但这套机制只约束了更新的幅度,没有指定更新的终点。它像油门上的限位器,告诉你不能踩多深,却不告诉你该在哪个位置停车。

论文的切入点就在这里:既然终点没被定义,那就定义一个终点。

一棵树,把终局的分数一路倒推回来

第一个要解决的问题是:中间回合的信用从哪来。

答案是分支。如果两条轨迹在第三个回合之前完全一样,从第四个回合开始分道扬镳,那么它们终局结果的差异,就只能归因于第四个回合之后的选择。这在逻辑上是一个干净的对照实验,前面的历史被固定住了。

于是采样方式变成先初始化再扩展*:initialize-then-expand,先让旧策略完整采若干条轨迹作为主干,再从这些轨迹的中间位置随机挑若干回合当分叉点,从每个分叉点往后重新采样出一条新轨迹。*

具体设定是:每条问题先采 M=4 条完整轨迹,每条轨迹上抽 N=2 个分叉点,每个分叉点往后重采一条。合并重复前缀之后,得到 12 条终点轨迹。这一步的算力账很关键:从中间分叉的续写大约只有完整轨迹一半长,所以这份树的总开销,约等于 GRPO 用的 8 条完整轨迹。

每个分叉点是一个树节点,节点上挂着一个回合的动作跨度。终局的对错先按组内标准化变成优势,然后沿着树从叶子往上收。收的办法是按旧策略给每个孩子节点的似然概率加权平均,概率高的孩子权重大,概率低的孩子权重小。

这个回传量记为 V_i,就是第 i 个回合的信用。

这里有一个容易忽略但很要紧的细节:因为一个父节点已经把下面所有分支的结果汇总进来了,每个不重复的回合只需要在梯度里出现一次。而 GRPO 那种做法里,共享的前缀会在多条轨迹里被反复计算、反复加分。树的结构天然压缩了重复。

为什么要给一个回合只打一个分,而不是给每个 token 打

接下来是一连串设计决策里第一个真正有意思的。

传统蒸馏是一个 token 一个 token 地对齐:老师模型在每个位置输出一个覆盖整个词表的概率分布,学生去模仿。但这里没有老师,只有一个标量 V_i 挂在整段动作上。硬要给每个 token 分配不同的分是不现实的,也没有依据。

所以论文选择了一个极简的表示:一个回合就是一个伯努利分布*:Bernoulli distribution,只有"成功"和"失败"两种取值的概率分布,这里用它来表示"这个回合相对于旧策略是被加强还是被削弱",一个参数 p 就够了。*

但直接把这个回合的似然比拿来用会出事。一个回合可能有几千个 token,把每个 token 的似然比连乘起来,数值会随长度指数级地跑飞。短的工具调用和长的思考段会得到完全不可比的分数。

解决办法是取几何平均,也就是每个 token 的对数似然比之和除以长度。论文把这一项叫 s,它衡量的是"这个回合在当前策略下比在旧策略下平均容易了多少"。

然后做一个变换,把这个比值压缩到 0 到 1 之间:

p = r/(1+r),其中 r 是几何平均似然比。

这一步在数学上对应一个叫"赔率映射"的东西,论文特意强调它不是随手挑的一个压缩函数,而是由后面的理论推出来的唯一正确形式。旧策略下 r=1,p 正好是 0.5,也就是中立。

有个细节值得停一下:这个映射在交换新旧策略时会对称地翻转,p 和 1-p 互换。换句话说,它只关心"这个回合相对旧策略变得更容易还是更难",不关心它本身绝对有多容易。这让整个信号对任务的原始难度不敏感,是个很实用的性质。

老师的分给到哪儿?一个不会超调的闭式解

现在有了学生当前的状态 p,还需要一个老师的目标 q。

老师的构造是一个带约束的最优化问题:一方面想按信用 V_i 把目标往上或往下推,另一方面要付一个偏离旧策略的代价,也就是 KL 惩罚*:Kullback-Leibler divergence,衡量两个概率分布之间的差异,这里用来限制老师不能离旧策略太远。*

惩罚项的方向选择很有意思。如果从候选老师反向惩罚回旧策略,对伯努利分布而言,最优解会是一个形如 sigmoid(V/τ) 的非线性函数。论文特别指出,这种形式有一个致命缺陷:它不满足后文要求的"与树回传可交换"。

而如果按论文选的方向,也就是从旧策略指向候选老师,最优解是一个极其干净的线性形式:

q = 1/2 + V_i/τ

信用为正,目标就高于 0.5;信用为负,目标就低于 0.5;信用为零,目标就是 0.5,也就是什么都不改。

**这个线性形式是整篇论文的骨架,因为线性才是它能和树结构自由交换顺序的原因。**

这里打个生活中的比方。

假设你是一个班的学习委员,要给小组里每个人的作业打分。如果规则是"每个人和组里平均分比",那下次重新分组之后,分数就没法合并了:A 组的三个人合到 B 组,你没法用原来的相对分推出现在这五个人的相对分,因为相对分是相对各自的组算的。

但如果你用的是另一种规则:每个人的分数等于"班级基准分加上他的绝对加分",那么无论怎么分组,小组的分数就是组员分数的加权平均,随便怎么重新排列、怎么层层汇总,结果都一样。

论文里的线性映射就是第二种。树从底下往上收信用,收完之后套一次映射,和先给每个叶子套映射再往上加权收,结果完全一样。这就保证了"压缩"这个过程不发生任何信息损失,一个共享的前缀回合只需要算一次分数,就能代表它下面所有分支的平均评价。

如果不这样设计会怎样?会用那个非线性版本。它能在第一次更新时和学生当前状态吻合,但一旦进入树的多层汇总,父节点的分数就不再等于子节点分数的加权平均,你得给每个叶子单独建一个分布去对齐,共享前缀的复用完全消失,而共享前缀恰恰是这套采样方式省算力的全部来源。

至于那个温度 τ 怎么定,论文没有让它当一个人工调的旋钮。它从采样规模 K 推出来:由萨缪尔森不等式,标准化之后的优势上限是 (K-1)/√K,而树的凸组合回传不会放大这个上限,所以只要令 τ = (K-1)/(ρ√K),所有老师的目标就必然落在 [1/2-ρ, 1/2+ρ] 这个带里,永远不会越界,不需要任何裁剪操作。

论文还证明了这是满足"对称、有界、与树回传可交换"三条要求的唯一映射。换句话说,这不是设计者的偏好,是被约束逼出来的唯一答案。

真正的重点:学生到了目标就得停

前面讲的全是"目标怎么造"。目标造好之后就冻结,接下来是学生去追。这才是这篇论文与其他树方法分道扬镳的地方。

损失函数用的是前向 KL,权重按回合长度和时间归一。展开之后会看到一个非常直观的结构:一部分是线性的信用爬升,另一部分是围绕旧策略的凸形回拉惩罚,这个惩罚只在策略开始漂移时才发力。

对参数求导,每个 token 上的梯度权重长这样:

Γ_i = V_i - τ(p_θ,i - 1/2)

括号里前半截是旧的固定信用,后半截是一个漂移修正项。

这个式子有三个值得逐个看的性质。

第一,在旧策略那个点上,p 正好等于 0.5,修正项归零,梯度精确退化为树的策略梯度方向。所以第一次更新和已有的树方法完全一致,这不是一个另起炉灶的算法,而是把已有的起点原样保留。

第二,修正项是有界的。它含有 tanh,值域被卡在正负之间,无论似然比跑到多大都封顶。对比一下:常用的重要性比率 r 乘上信用之后,在长回合上会指数爆炸。这个指数爆炸正是长回合训练不稳定的经典来源。

第三,也是最反直觉的一点:当学生追到老师那个目标上,Γ_i 归零;如果早期分片用力过猛,把学生推过了头,Γ_i 会变号,反着往回拉。

用一个生活场景把这三件事串起来,你会看得更清楚。

想象你在教一个人倒车入库。如果采用固定信用的方式,你只会说"往左打方向",而且这句话的力度从上车那一刻就定好了,不管他已经倒了多少。他会一直往左打,直到撞上旁边的柱子,然后你还在说"往左打"。

如果采用带终点目标的方式,你说的不是方向,而是位置:"后轮压到这条线"。他打着打着,当后轮接近这条线,你的提示会自动变轻;如果他打过了一点,你的提示会自然反过来变成"往右回一点"。

这两种教法的差别不在于谁更聪明。差别在于,前一种方法描述的是一条永远指向同一个方向的力,后一种描述的是一个可以抵达、也可以错过的位置。固定信用的策略梯度注定了只有方向没有终点,这是结构性的,不是调参能补的。

论文把这个性质叫有限目标均衡与符号反转,并在附录里给了完整的收缩性证明:只要学习率不超过某个上界,学生和老师之间的对数距离会单调收缩,不会震荡。

还有一个必须说明的技术后果。因为梯度是"一个回合加一个权重",每个 token 得到的权重完全相同,所以总损失可以改写成"学生和老师对每个回合的期望似然比"这个形式。这直接意味着:匹配父节点那一个老师,和把所有后代叶子的蒸馏损失加起来做加权平均,梯度是同一件事。

**一层树,无数条叶子,最终浓缩成一个分数、一个分布、一次对齐。**

和那个最像的对照组只差一件事

要判断这套东西的收益到底来自哪里,得有一个干净的对照。

论文构造了 TreePO 作为对照组。它用完全一样的树、一样的信用 V_i、一样的回合级重建、一样的四个连续优化分片。唯一的差别是:它不追目标,只沿用采样时算出的固定信用 V_i。

这两者的差距就是"有没有终点"的全部价值。

看 Qwen3-4B 的结果。深度研究的四个基准平均:GRPO 12.18,TreePO 13.07,TreeOPSD 15.45。从 GRPO 到 TreePO 涨了不到 1 个点,从 TreePO 到 TreeOPSD 涨了 2.38 个点。

看 Qwen3-30B-A3B 的结果。平均分从 16.23 一路走到 21.20,其中从 TreePO 到 TreeOPSD 的增量是 3.61 个点。论文正是在这里给出了那句最关键的观察:相比 GRPO,TreeOPSD 在深度研究上给 30B 模型提升了 4.97 个点。

而多跳问答那边,Qwen3-4B 的 GRPO 平均是 43.37,TreePO 是 43.40,TreeOPSD 是 44.13。三个数咬得很紧。

这个对比本身就是一条信息量很大的证据。多跳问答的回合数被限制在五回合以内,问题短、 horizon 短,采样时算出的固定信用和真实终点的差距没那么大,所以"有没有刹车"区别有限。而深度研究动辄几十回合,后面的优化分片面对的策略早就跑远了,固定信用指的方向已经过期,这时候端点刹车才真正开始发挥作用。

**同一套方法在短任务上小赢,在长任务上大赢,这个梯度形状本身就是对"策略陈旧是长程问题"这个判断的验证。**

不只是在平均分上。表 1 里 Qwen3-30B-A3B 在 BrowseComp-Plus 上的数字是 10.36 到 17.47,GAIA 从 31.07 到 34.95,xbench 从 19.00 到 26.00。其中 BrowseComp、GAIA、xbench 这三项用的是开放网络搜索,训练语料完全不同,属于泛化测试。这说明提升不是记住了训练集。

同预算的比分还在小模型上验证过。Qwen3-1.7B 上,GRPO 平均 25.70,TreePO 26.13,TreeOPSD 26.88。Llama-3.2-3B-Instruct 上,GRPO 31.73,TreePO 32.30,TreeOPSD 35.58。不同基座、不同规模,排序都一样。

有一个反直觉的消融值得单独拿出来。论文在 4.3 节和附录 D.2 里试了"逐点信用"和"列表式信用"两种分法。列表式会把信用在兄弟节点之间做中心化,也就是减掉父节点的值。直觉上这很像 GRPO 的做法,似乎更公平。

但结论相反。如果父节点下面有两个孩子都是有用的,中心化之后其中一个拿到正分、另一个拿到负分,两者相加为零。也就是说,本来应该一起被鼓励的两个好动作,被强行判成一好一坏。逐点信用则让两个孩子都相对旧策略抬升,只是抬升幅度不同。

论文用一个数字点出了这个细节的分量:这两个好孩子合起来的概率确实没法超过 100%,但在一个几万词表的动作空间里,这一对兄弟只覆盖了极小一角,把它们一起抬起来完全合理。中心化是由"采样出来的兄弟构成一个封闭选择集"这个错误假设带来的。

它变长了,但没变慢

长程智能体训练里有一个常见担忧:你让模型学会多查、多翻、多想,训练成本会不会一起爆炸。

论文给了两组数字。

首先是交互长度。在深度研究场景中,TreeOPSD 训出来的模型在评测时的平均助手回合数从三个左右一路涨到七个附近,GRPO 只涨到四个左右。训练过程中的回合数也呈现同样的趋势。这不是一个副产品,而是这套方法想要的行为:既然中间步骤能被独立评价,模型就没有理由急着交卷。

然后是训练效率。把横轴从策略更新步数换成累计训练小时数,TreeOPSD 的曲线依然压在 GRPO 上面。这一点很重要,因为它排除了"只是花了更多时间"这个解释。多花的算力被用在了分叉上,而分叉带来的收益超过了这部分开销。

稳定性也做了验证。用 Qwen3-4B 跑了五个随机种子,多跳问答的均值加标准差是 44.13 ± 0.16,深度研究是 15.45 ± 0.39。作为对照,GRPO 是 43.37 ± 0.19 和 12.18 ± 0.27。差距比种子间的波动大一个量级。

超参的敏感性也扫了。分叉预算的分配上,(4,2) 这个配置的总开销与 GRPO 持平,比更偏重续写的 (2,6) 好,也比纯独立轨迹的 (8,0) 好。目标半径 ρ 从 0.1 扫到 0.4,两个基准的平均分在 0.25 附近见顶,但整个区间里的起伏都很小。论文对这件事的解释很简洁:第一个优化分片根本不依赖 ρ,因为在那一点上梯度精确退化为树的策略梯度。ρ 只影响后面几个分片的收敛目标,所以灵敏度天然低。

写在后面

读完之后,我一直在想的一件事是:这篇论文的核心手法,其实不是"蒸馏",而是把一个优化问题拆成了两个。

拆的方式是把"该往哪里去"和"怎么走过去"分离开。前一半是一次性算好的、冻结的、有闭式解的目标;后一半是在训练过程中反复重算的、衡量当前差了多少的残差。这种拆法在强化学习里不算新,镜像下降和变分策略优化都是这个骨架,但用在树形信用上,并且证明这个拆法不损失任何信用信息,是这篇论文真正的贡献。

有一个细节我盯着看了很久。定理 1 说的是:父节点的老师等于子节点老师的加权平均,而且这个等号在两种计算顺序下都成立。这一条看上去只是个技术引理,但它实际上是在说,树这种结构在某个特定的映射下是可压缩的、无损的。如果你换一个映射,这个性质立刻消失,整个算法的效率前提也跟着消失。一个抽象的代数性质,直接决定了工程上能不能只算一次。

还有一个我想追问的地方。论文自己也承认了:标准化的优势上限由 K 决定,而实际的老师尺度 ρ 是个全局常数。在默认设定下,叶子老师离中线的均方根只有 0.075 左右,离满半径 0.25 差得很远,只有出现单个异议奖励的树才会打满。这意味着大多数树的信用其实相当温和,老师几乎都挤在中线附近。论文在局限部分提出可以按每棵树实际算出的信用或者按 K 来动态定半径,但没做实验。这会不会是下一个明显的提分点?我不确定,但这个方向看起来比调学习率更有意思。

另外那个"树重放"的想法也悬在那儿。现在每棵树用完四个分片就丢掉,如果按陈旧程度给存下来的树加权再喂回训练,理论上能省掉大量采样。论文提了,没做。

最后一个真正让我停顿的问题,和第 4.3 节那个反直觉的消融有关。列表式信用之所以被淘汰,是因为它假设"采样出来的兄弟构成一个封闭选择集"。这个假设在数学上极其方便,在语言模型上却完全不成立,因为几万词表的动作空间里,采两条和采八条覆盖的比例都接近于零。那这套逻辑推到极致会是什么样?如果一个回合的目标不该相对于兄弟来定,为什么多个回合之间还要共享同一个标准化基准?这个问题论文没问,我也还没想出好答案。

想象一下这个场景:一个模型在第 40 个回合决定继续查,而不是交卷。它做出这个决定的原因,是它在第 12 个回合时被一次分叉教过一次,那时候另一次分叉在同一位置选了交卷,结果错了。这两个分支在训练日志里早就消失了,但那一点点"多查一步是对的"的分量,还留在参数里。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-