一个模型，换三套打法，能解出多少以前解不出的题

你有没有遇到过这种情况：同一道数学题，换个思路突然就做出来了。不是你变聪明了，是思路对了。AI模型其实也是这样。

腾讯混元团队最近做了一个挺有意思的实验，他们拿同一个270亿参数的模型（Qwen-3.8-27B），分别套上三种不同的"做题方式"，去解将近3000道终端任务题。结果发现，三种方式加起来解出来的题，比任何一种单独解出来的题多了三分之一还多。

这件事本身不算颠覆认知，但接下来的问题才有意思：既然换个做法能多解题，那能不能把这些"多解出来的经验"喂回给模型本身，让它哪怕只用最普通的做法，也能解出更多题？

这篇论文要讲的，就是他们怎么做到这一点的。

核心问题出在哪

先说清楚一件事，模型解题这件事，光看模型本身是不够的。

AI执行任务的时候，不是裸着上场的，它外面裹着一层"外壳"，论文里叫harness（可以理解成执行框架或者脚手架）。这层外壳决定了模型怎么看到任务反馈、怎么调用工具、怎么判断自己做完了没有、做错了怎么改。同样的大脑，套不同的外壳，表现能差出一大截。

这不是什么新鲜观点。此前已经有研究证明，给弱模型配一套足够聪明的外壳，弱模型甚至能打败没有外壳加持的强模型。比如论文里提到的StateM框架，就曾经把终端任务基准上的表现硬生生拉到95.3%的准确率。而另一项叫Self-Harness的工作，只靠换外壳就把MiniMax M2.5模型的分数从40.5%拉到61.9%，模型本身一个参数都没动。

这说明一件事：外壳不是摆设，它是真实的战斗力。

那研究团队自然就想到了：既然不同外壳能解不同的题，那我们是不是可以多备几套外壳，分头去碰那3000道难题，看看它们各自的强项在哪？

研究团队具体用了三套框架。

第一套叫Terminus 2，这是最朴素的那种，模型发命令，看结果，自己决定下一步干什么，没有太多额外的脚手架搭建，算是"裸装上阵"的基准版本。

第二套叫StateM，它的特点是给执行过程加了状态管理，像是给任务流程画了一张流程图，每走一步都要检查是不是走对了，走错了就得退回去修。

第三套是团队自己改造的，叫RSRT（Recursive Self-Reflect Terminus，循环自我反思终端）。它的玩法是，模型做完一次任务，系统拿着验证器偷偷检查结果对不对，但只告诉模型"你错了"，不告诉具体哪里错、更不会泄露标准答案。模型得自己回头翻看之前做过的步骤，自己找茬，自己改，改完接着提交，直到对了或者时间用完（最多180分钟）为止。

这就好比你考试交卷后，老师不会直接告诉你哪道题错了对应的正确答案，只告诉你"你这张卷子不及格，回去再看看"。你只能自己把卷子从头捋一遍，怀疑每一步，直到找出问题。这种逼着自己复盘的训练方式，往往比直接看答案记忆更深刻。如果老师直接把错题标出来告诉你改哪，你下次遇到类似题目大概率还是不会独立思考，因为你从没真正经历过"找茬"的过程。

三个框架分头上阵之后，团队统计了结果。

三套打法，解题范围完全不重合

数字摆出来挺震撼的。

在将近3000道任务题的池子里，Terminus 2单独能解565道（19.3%），RSRT能解512道（17.5%），StateM能解461道（15.7%）。看起来Terminus 2最强对吧？但三者合并起来，一共能解759道题，比表现最好的单一框架还多出194道，相对提升34.3%。

更关键的是，这194道多出来的题，不是谁换个框架随便就能碰上的。在这759道被至少一个框架解出来的题目里，有288道题只有唯一一个框架能解出来：129道只有Terminus 2能做，91道只有RSRT能做，68道只有StateM能做。另外163道需要两个框架才能凑齐，剩下308道三个框架都能解。

这说明什么？说明这三套框架不是谁比谁强的关系，而是各自占了不同的山头。RSRT擅长脚本自动化类任务（35.7%覆盖率），StateM在软件开发调试类任务上领先（26.2%），而Terminus 2在版本控制和部分科学计算任务上更占优势。

研究团队还专门排除了"谁跑的次数多谁自然解得多"这个干扰因素，控制了相同的尝试次数之后重新统计，发现复杂性依然存在：三框架并集解题量比单一最强框架还要多23.5%，每个框架依然各自贡献独有的解法。

这个发现其实解答了开头那个疑惑：三套框架不是在互相竞争同一批题目的解法，它们是在用完全不同的策略探索任务空间的不同角落。

直接把这些解法喂给模型，会出问题

既然三套框架凑一起能多解194道题，那是不是把这些成功的解题记录直接丢给模型去学习，模型就能自己学会这些本事了？

答案是：没那么简单。

研究人员发现，直接拿这些轨迹去做监督微调（Direct SFT，直接把成功案例喂给模型训练），效果喜忧参半。在自建的高难度基准（TBH）上确实涨了17个百分点，但在另一个基准TB2上反而掉了3.6个百分点，平均通过率从51.7%跌到43.8%。

问题出在哪？

每一条成功轨迹，其实不只是模型自己的功劳，它混杂了外壳的干预痕迹。比如RSRT框架里，模型会不断被系统提醒"你错了，回头看看"，这种反复试错的轨迹动辄上百步。模型直接学这种轨迹，学到的不只是解题思路，还学到了"反正可以无限重试"这种依赖外部支持才能生效的习惯。研究人员检查训练后的模型输出时，确实发现它学会了一种死循环行为：在没有外部验证器反复提醒的情况下，模型会在同一个动作模式里原地打转，走不出来，最终任务失败。

这就好比一个学生一直在有老师在旁边随时纠错的环境下刷题，做题思路严重依赖"老师马上会告诉我错在哪"这个条件。一旦换到真正独立考试的环境，没人在旁边提醒了，他反而比没刷过这些题的同学表现更差，因为他已经习惯了那种拐杖式的反馈节奏，拐杖一撤就站不稳了。

直接训练这条路走不通，那该怎么办？研究团队的答案是：别直接抄答案，把解题过程重写一遍，换到模型最终要用的那套"裸装"框架里，重新做一遍，做对了才算数。

这就是这篇论文真正的核心创新：Recursive Self-Rewrite（递归自我重写，论文简称RSR）。

递归自我重写：把拐杖撤掉，让模型重新独立走一遍

RSR的思路分三步，每一步都由同一个模型来扮演不同角色完成，整个过程不借助任何外部更强的模型。

第一步是规划。模型扮演规划者（planner）的角色，看着之前某个框架留下的成功轨迹，把里面的关键步骤、检查点、常见的坑提炼出来，写成一份"操作手册"（runbook）。这份手册只讲方法和路径，不直接把最终答案写进去。比如遇到一个需要重建某种文件格式的任务，手册会写"先找一个兼容的解析器，再对照输出摘要做校验，再探测关键参数"，而不会直接给出具体的最终文件内容。

规划者*：模型扮演的第一个角色，负责把原始解题过程压缩提炼成一份不含答案的操作指南。

第二步是审查。模型切换成评审者（critic）的角色，专门检查上一步写的操作手册有没有泄密。这里的泄密分两种，一种是直接漏了答案本身，一种是漏了验证器内部的检查逻辑（相当于把考试评分标准偷偷告诉了考生）。审查分两层，先过一遍规则检查（比如格式对不对、有没有引用根本不存在的工具），再让模型本身当裁判，只给它看公开的任务描述和这份手册，判断手册有没有越界。一旦发现泄密，手册会被打回重写，最多重写若干次。

评审者*：模型扮演的第二个角色，专门负责挑出操作手册里是否藏了不该出现的答案或验证逻辑，发现问题就打回重写。

第三步是重新执行。模型换上执行者（executor）的角色，拿着审查通过的操作手册，在一个全新的、干净的沙盒环境里，用最普通的Terminus 2框架重新解一遍这道题。手册只是私下给模型看的参考，不会写进最终的训练数据里，模型必须凭着手册的指引，自己一步步敲命令、看反馈、调整策略，把整道题重新做出来。

这个过程最妙的地方在于，它本质上是逼着模型"脱离拐杖重新学走路"。原来那条成功轨迹里混杂了外壳给的各种提示和干预，现在被抽象成一份纯方法论的指南，模型得靠自己的能力把这份指南转化成真实的操作。手册里没有答案，只有路标。

这就像你去一个没去过的城市旅游，一种方式是朋友把详细的逐字逐句导航路线发给你，你照着念就能走到目的地，但下次换个地方你还是不会自己认路。另一种方式是朋友只告诉你"这片区域地铁比公交快，换乘站记得看指示牌颜色，出站口附近常有小吃摊可以问路"，你得自己根据这些提示实地判断方向、处理突发状况。后者走起来慢一点，但你是真的学会了在陌生城市找路的能力，下次换个城市你也能照着这个思路摸索。如果一直给你逐字路线，你永远是个"没有导航就寸步难行"的游客。

重写之后，还要再过一道关：如果重新执行出来的轨迹里出现了某个数值或结论，模型没办法从任务描述或环境反馈里推导出来，那大概率意味着答案偷偷泄露进去了，这条轨迹直接扔掉。只有真正通过了任务验证器检查、又没有泄密痕迹的轨迹，才会被留下来当训练数据，而且训练时只保留公开的任务指令、环境反馈和模型的回答，之前的操作手册和评审对话全部去掉。

一道题，重写出好几种新练习

这个重写过程不是做一次就完事的。

研究团队对每条成功的原始轨迹，生成了K=4份不同的操作手册候选，每份手册又各自跑了M=4次独立的执行，相当于一条原始成功经验，最多能衍生出16次重新练习的机会。

最终跑出来12893条重写轨迹，覆盖975道不同的题目，其中86%通过了验证，留下11094条高质量轨迹，这个数字比原始的2001条成功轨迹膨胀了超过5倍。

论文里举了两个具体案例，挺能说明问题。

第一个案例是Markdown格式解析任务。原始轨迹（来自RSRT框架）花了64轮对话才搞定，中间反复折腾兼容性问题、反复调用同一个工具试错。重写之后，12次独立尝试里有7次成功（58.3%），成功的那些轨迹中位数只用了32轮，直接砍掉一半。但有意思的是，并不是所有重写都成功，有些拿着同一份操作手册，走着走着还是栽了。这说明手册能帮模型跳过早期摸索的弯路，但真正解题的硬骨头，还得靠模型自己啃。

第二个案例是OpenFOAM流体仿真重建任务（来自StateM框架）。原始轨迹38轮，重写后8次尝试里7次成功（87.5%），中位数29轮。这个案例里，重写轨迹很好地保留了原始解法里"分析输出、修改实现、反复检验"这套有效的思维习惯，只是把具体执行方式换成了通用框架能理解的命令。

研究团队还专门比较了用同一份操作手册生成的多条轨迹之间，命令层面的相似度到底有多高。结果显示，同一份手册指导下的轨迹，命令重合度和执行顺序相似度，都明显高于用不同手册指导的轨迹（比如Markdown案例里，同手册轨迹的精确命令重合度是19.1%，不同手册只有12.1%）。这说明手册确实在实质性地塑造执行路径，不是走个形式。

训练结果：换了套重写方式，模型真的变聪明了

说了这么多设计细节，最终还是要看训练出来的模型表现怎么样。

研究团队拿同一个Qwen-3.8-27B底座模型，对比了三种版本：没训练过的原版（Base），直接用原始成功轨迹微调的版本（Direct SFT），以及用RSR重写轨迹微调的版本（RSR）。

评测跑了好几个基准，包括Terminal-Bench系列（TB2、TB3、TB4）、自建的高难度基准Terminal-Bench Hard（TBH）、自建的软件类基准（SWR100），还有专门考察长程任务推理过程质量的Long-Horizon Terminal Bench（LHTB）。

| 基准 | 指标 | 原版Base | 直接微调 | RSR重写微调 |

|---|---|---|---|---|

| TB2 | pass@3 | 57.0% | 53.4% | **74.2%** |

| TB3 | pass@3 | 0.0% | 5.4% | **9.5%** |

| TB4 | pass@3 | 1.5% | 4.5% | **9.1%** |

| TBH（自建） | pass@3 | 39.0% | 56.0% | **63.0%** |

| SWR100（自建） | pass@3 | 3.0% | 3.0% | **6.0%** |

| LHTB（自建） | 过程奖励分 | 0.21 | 0.25 | **0.29** |

pass@3*：指模型尝试三次，只要有一次做对就算通过的评测方式，衡量模型在多次尝试里的最高水平。

过程奖励分*：不只看任务最后是否完全做对，还会给执行过程中的局部进展打分，用于衡量模型在超长任务里有没有真正朝着正确方向推进。

RSR在所有基准上全面超过了直接微调的版本，TB2上涨了20.8个百分点，TBH涨了7个百分点，连一向最难啃的TB4（原版只有1.5%）也翻了六倍到9.1%。而且前面提到Direct SFT在TB2上反而比原版还差的问题，在RSR这里被彻底扭转了，不光没掉分，还涨了17个百分点。

这组数据说明一件事：经验本身是有价值的，但经验必须经过"消毒"才能安全地喂给模型。直接吃生肉可能会拉肚子，煮熟了再吃才真正能长肉。

写在后面

读完这篇论文，让我印象最深的不是RSR这套流水线本身有多精巧，而是那组"消毒前后判若两人"的实验数据。原版模型在TB2上是57%，直接拿成功经验微调之后反而掉到53.4%，这个反常识的掉分结果比后面所有的涨分数字都更有信息量。它说明一件容易被忽视的事情：好的训练数据不等于正确答案的集合，一条标注为"成功"的轨迹里，可能埋着一堆让模型学坏的隐性依赖，比如对外部反馈的路径依赖、对无限重试机会的路径依赖。这些东西在原始框架里是隐形的安全网，训练阶段没拆掉，模型部署出去的那一刻安全网就消失了，模型反而比没学过的时候更脆弱。

另一个值得琢磨的细节是，研究团队发现即便是同一个270亿参数的模型，换一套外壳就能在同一道题上实现从不会到会的转变，这事其实对"模型能力到底指什么"是个挺实在的追问。我们平时说某个模型"能不能解决某类问题"，默认指的是模型加上它惯用的那套工具链一起的综合表现，而不是模型参数本身的孤立能力。这篇论文某种程度上是在说，脚手架和模型权重之间的边界，远比我们直觉里认为的要模糊。

这篇论文没有解决的问题，论文里也坦白承认了：LHTB这个长程任务基准上，三个版本的模型全都是0完全解决率，RSR带来的0.21到0.29的提升，只是"过程更朝着正确方向走了一点"，离真正把这类超长任务啃下来还有很远的距离。这其实提出了一个更本质的问题：当任务长到一定程度，经验重写这条路还够用吗，还是说需要一种全新的、专门针对超长周期任务的训练范式？

Q&A

Q1：Recursive Self-Rewrite是什么？

A：这是腾讯团队提出的一种训练方法，先用不同执行框架让模型解出更多难题，再把这些成功经验提炼成不含答案的操作指南，让模型在通用框架下重新独立解一遍，只保留真正验证通过的新轨迹用来训练模型本身。

Q2：为什么不能直接把不同框架解出的成功案例拿去训练模型？

A：因为这些成功轨迹里混杂了框架本身提供的外部支持，比如反复提醒重试的机制，模型直接学习会对这些外部拐杖产生依赖，换到普通框架下反而表现更差，实验中TB2基准上直接微调后得分不升反降。

Q3：三套不同的执行框架为什么能解出更多题目？

A：因为Terminus 2、StateM和RSRT三种框架各有擅长的任务类型，比如StateM擅长软件开发调试、RSRT擅长脚本自动化，它们解题范围互不重合，三者合并后比任何单一框架多解出34.3%的题目。