TEV：如何给AI智能体一张"过程分数单"，让它学会做需要几个小时才能完成的任务

你有没有想过一个问题：如果让你去考试，但老师只在你交卷之后告诉你对不对，中间不给任何提示，你会不会慌?

更极端一点，如果这场考试要做整整一天，中间有无数个步骤，任何一步出错都可能导致最后全盘皆输，而你从头到尾都不知道自己是不是走在正确的路上，这种感觉是不是更难受？

这正是当下AI智能体在面对长任务时的真实处境。

**长任务**

长任务指的是那些需要AI连续工作几小时甚至几天才能完成的复杂任务，比如解决数学科研难题、做自动化机器学习研究、修复复杂的代码系统。

这类任务被认为是通向"自动化发现"和"模型自我迭代改进"的关键一步，听起来很美好，但现实是，开源模型在这件事上普遍表现糟糕。不是因为模型不够聪明，而是因为没人能喂给它们合适的训练数据，也没人找到一套行之有效的训练方法。

这篇来自Adobe Research和加州大学洛杉矶分校的论文，就是奔着解决这两个问题去的。

### 长任务训练数据为什么这么难搞

先说第一个难题：数据从哪来。

你可能觉得这不是个事儿，现在网上的代码数据集不是一大把吗？确实，像SWE-Smith、TMAX、CLI-Gym这些数据集,动辄几万甚至十几万条训练样本，听起来很唬人。

但问题出在"长度"上。这些数据集里的每一条任务，平均只要两分钟左右就能跑完，本质上就是修一个小bug，或者在终端里敲几条命令。用论文里的数据说话，SWE-Smith的任务平均耗时2.4分钟，TMAX是2.1分钟，Endless Terminals只要0.7分钟。

而那些真正需要长时间钻研的任务，比如解开一道数学难题、搞定一次完整的机器学习研究复现，这些只存在于少数由人类专家手工编写的评测基准里，比如Agents' Last Exam。这些基准集里往往只有几十到几百道题，每一道都要专家花上几周时间去设计和验证，而且它们天生就是用来"考试"的，不是用来"陪练"的，也就是说它们只提供终点的对错判断,不会告诉AI中间做得怎么样。

于是就出现了一个尴尬的局面：训练数据集又多又短，评测数据集又长又少，中间完全是断层的。没有人手里有一套又长又多、还能实时打分的训练数据。

这就好比一个篮球运动员，想要练成一场打满48分钟的高强度对抗赛，可教练手里能提供的,要么是上百次三分钟的投篮小游戏，要么就是几场正式比赛的录像带，录像带里能看到最终比分，却完全看不到每一次传球和跑位是对是错。没有中间反馈，这个球员永远也练不出在长时间高强度对抗里保持专注和正确判断的能力。

### 第二道坎：奖励信号太稀疏，白白浪费训练机会

就算你咬牙憋出了一批长任务数据，第二个问题马上冒出来：怎么给AI打分。

目前主流的强化学习训练方法叫GRPO。

**GRPO**

GRPO全称是Group-Relative Policy Optimization，组相对策略优化，是DeepSeek团队提出的一种强化学习算法。它的工作方式是，让AI针对同一个任务采样生成多条不同的尝试路径（这些尝试叫做rollout），然后把这组rollout的得分互相比较,得分高的路径会被"奖励"，得分低的会被"惩罚"。

这个方法在短任务上效果不错，但放到长任务上就彻底卡壳了。原因很简单：如果这一组尝试全部失败了，得分都是0，那么互相比较之后，每条路径的"相对优势"也都是0。这意味着这组数据对训练完全没有贡献，白白浪费了算力。

论文里算了一笔账：假如AI解决某个长任务的成功率只有5%，一组采样8条路径，那么全部失败的概率高达66%。如果成功率再低一点，比如1%，这个浪费概率会飙到92%。对于一个还没训练过的开源模型来说，面对真正的长任务，成功率普遍只有10%甚至更低，这意味着绝大多数训练批次都被白白扔掉了。

这就像你在教一个刚学做饭的徒弟炒一道需要十几道工序的大菜，如果这道菜十次有九次是失败的，而你只在菜端上桌之后才告诉他"这盘不行,重做"，徒弟完全不知道是哪一步出了问题，是火候不对、调料下早了、还是刀工有问题。于是教了一百次，他可能连第一道工序都没学扎实，因为你从来没在中间环节给过他任何反馈。如果不解决这个问题，再多的长任务数据堆上去，也只是在重复无效的尝试。

### 核心思路：先造一个"标准答案世界"，再倒着挖出一道题

论文提出的解法，起名叫latent-world-first synthesis，直译是"潜在世界优先的合成方法"。

**latent-world-first synthesis**

这是一种数据生成思路，核心是先构建一个完整正确的隐藏世界状态（潜在世界），再从这个世界倒推出任务、输入文件和验证标准，而不是先凭空想一个题目再去编答案。

这个设计思路听起来有点反直觉。一般做题库，不都是先出题再想答案吗？但这篇论文反过来：先把一个完整、正确、自洽的"标准世界"搭建好，再从这个世界里"腐蚀"出一道题。

具体怎么做？论文里用一个零售仓库ETL任务做了完整示范，这个例子值得仔细拆一遍，因为它几乎浓缩了整套方法的精髓。

第一步，先造一个干净完整的"潜在世界"。比如一个虚构的零售仓库，里面有502个客户、52种商品、横跨6个月的6210笔交易记录，所有数据之间的关联关系完全正确、自洽，这是整个任务的"标准答案"，而且完全不让AI看到。

第二步，把这个世界背后的业务流程画成一张有向无环图,也就是工作流DAG。

**DAG**

DAG全称Directed Acyclic Graph，有向无环图，用来表示任务里各个步骤之间谁先谁后、谁依赖谁的关系图，图里不会出现"绕一圈又回到起点"的循环。

在这个零售仓库例子里，流程是先做数据源画像，再做事实核对和维度标准化，然后加载事实表，最后做聚合校验和打包。这张图里最长的一条依赖链，就定义了这个任务到底有多"长"，有多"难"。

第三步，把这个标准世界"渲染"成干净的输入文件，CSV、TSV、JSON，各种格式都有，一共能生成十几种文件格式。这一步必须是可逆的，也就是说从渲染出的文件,能完完整整地反推回最初那个标准世界，一个字段都不能丢。

第四步，也是最关键的一步：往这些干净文件里注入"坏"。论文管这叫"受控腐蚀"，往文件里塞入模式漂移、重复数据、缺失值、分类错乱这些声明过的、可逆的缺陷。AI拿到的，就是这个被弄脏的文件堆,它看到的输入文件，必须能完整反推出那个真正的标准答案，这样才能保证评分绝对准确，不存在猜的空间。

这套流程最妙的地方在于，任务描述、输入文件、验证标准、还有待会要讲的进度评分，全部来自同一个标准世界。这就从根子上杜绝了一个很头疼的问题，论文里叫"artifact drift"（产物漂移）。

**artifact drift**

产物漂移指的是如果任务描述、测试数据和验证程序是三个独立环节分别生成的，各自看起来都没问题，但实际上在描述同一个问题时出现了细微的不一致，导致验证标准和任务要求对不上。

打个比方，这就像一场密室逃脱游戏，如果出题人先随便编一个剧情，又单独设计了机关道具，再找另一个人写验证规则，三拨人互相没对齐信息，很可能出现玩家按剧情逻辑推理出了正确答案，机关却死活触发不了，这不是玩家的问题，是设计本身出了岔子。而latent-world-first的做法是，先有一个完整自洽的"剧本世界"，机关、线索、过关条件全都从这个剧本里一次性生成，天然保证互相对得上。

靠着这套流程，研究团队搭出了一个叫TEV-GYM的训练数据集，覆盖软件工程、数据工程、AI与计算机科学研究、数学与运筹学、网络安全取证、基础设施运维、量子计算七大领域，一共1170个经过验证的任务环境。

拿一个强大的现成模型Gemini 3.6 Flash去跑这些任务，平均每道题要花12.4分钟才能做完，这个耗时是此前最费时间数据集的6倍左右，而且通过率只有29%，比其他数据集低得多。这恰恰说明TEV-GYM里的任务确实是"硬骨头"，不是凑数的水题。

更妙的是，这套生成流程本身就是自动化的，由代码写死的生成程序来完成，不需要调用大模型去"现场编题"，生成一个环境平均只要30秒的CPU时间，几乎不花钱。这意味着这套数据可以源源不断地扩展下去，而不是一锤子买卖。

### 把"过程分数"变成训练信号：PPRS

有了这样一个标准世界打底，论文顺理成章地解决了第二个难题，怎么给AI的中间过程打分。

既然每一道题背后都有一个完整正确的标准世界，那每一个工作流的中间阶段,其实都对应着一个"正确的中间状态"。论文把这些中间状态提炼成一套叫做"进度契约"的东西，每个任务被拆解成若干个检查点，每个检查点都有权重，检查点之间还有先后依赖关系，比如必须先把数据表加载完整，才能谈得上后续的聚合校验。

把所有检查点的完成程度按权重加总，就得到一个介于0到1之间的分数，论文管它叫进度潜力。

**进度潜力**

进度潜力是对AI当前工作区状态的实时打分，数值在0到1之间，随着任务越做越接近正确答案逐渐升高，一旦出现把已经做对的部分又改错了的情况，分数也会相应下降。

这个分数怎么用在训练里？论文提出的方法叫PPRS。

**PPRS**

PPRS全称Progress-Potential Reward Shaping，进度潜力奖励塑形，核心做法是把任务完成与否的最终奖励，和每一步进度分数的变化量结合起来，构成一个每一步都有反馈的训练信号，而不是只在任务彻底结束时才给一次分。

公式上写成，总奖励等于是否通过任务的二元判断，加上一个系数乘以最终进度潜力。这里有个细节很讲究：论文故意没有像经典的"基于潜力的奖励塑形"理论那样，把终点的潜力值清零。

为什么？因为如果清零了，那一组全部失败的rollout又会变回全部获得相同的奖励，前面说的"训练批次全浪费"的问题就又回来了。保留终点潜力值，恰恰是为了让失败的尝试之间也能分出高下,谁做得更接近正确答案，谁就该得到更高一点的奖励，哪怕谁都没有真正做完。

论文里展示了一组很直观的实验画面：同一个任务，让训练好的27B模型跑8次，全部都没能成功提交最终答案。如果用传统的终点奖励来看，这8次尝试的得分全是0，训练信号等于零。但如果用进度潜力去看,有两次提交了不完整的仓库，五次因为用光了上下文窗口被迫中断，还有一次实际上已经把整个仓库搭建完整了，只是没来得及点击提交。这最后一次的进度潜力冲到了1.0，和其他几次形成了鲜明的高低差,训练信号一下子就有了。

这就好比一群学生参加一场没写完就不算数的大型考试，如果老师只公布"写完"和"没写完"两种结果,那么七个没写完卷子的学生看起来一模一样,都是零分。但如果老师愿意去翻一眼每个人的草稿纸，就会发现有人只写了开头，有人写了一大半，还有一个人其实已经把所有题目都解出来了，只是最后一步忘了把答案誊写到答题卡上。不去看草稿纸，这些差异永远被埋没；愿意去看，才能因材施教。

为了防止AI靠"作弊"骗过这套进度打分系统，论文还设了一套很严格的质量关卡，一共要通过八道门槛才能被这套数据集收录。

比如要求进度分数必须具备"因果性"，也就是说如果你故意破坏某个检查点依赖的东西，分数必须跟着掉，不能出现"乱改一通但分数纹丝不动"的漏洞；还要求设计者准备14种常见的"投机取巧"策略去提前攻击这套打分系统，比如交一个空文件、硬编码某个看起来像是答案的数值，这些招数必须统统得零分；此外还要求负责打分的代码、负责判断通过与否的代码、负责生成标准答案的代码,这三拨代码必须彼此独立开发，互不调用，避免一个环节的隐藏漏洞被另一个环节悄悄继承。

### 训练结果：开源模型追上了部分顶级闭源模型

说了这么多方法论，最终效果如何？

研究团队用这套数据和PPRS训练方法，训练出了两个版本的模型，一个是27B参数规模的TEV-27B，基于Qwen3.8-27B训练而来；另一个是9B参数规模的TEV-9B,基于Qwen3.5-9B训练而来。

在Agents' Last Exam的计算与数学科学分支，简称ALE-CM这个评测集上，TEV-27B相比它的基础模型Qwen3.8-27B，最佳五次采样里的通过率从0.17提升到了0.28，提升幅度达到65%，这个分数已经和GPT-6 Astra、Claude Opus 5这些顶级闭源模型打平了。TEV-9B的提升幅度更夸张，最佳五次采样通过率提升了83%。

更让人意外的是泛化能力。这套训练数据完全聚焦在计算与数学领域，可训练出来的模型拿到完全没见过的Terminal-Bench 3.0和4.0评测集上去测试，依然有显著提升。TEV-27B在TB 4.0上的通过率从0.04提升到0.10，翻了2.5倍，超过了开源模型里排名靠前的GLM 5.2；在TB 3.0上提升了56%。拿到中等长度任务集TB 2.1上测试，TEV-9B的零样本通过率提升了28%，TEV-27B更是达到了0.794的通过率，和Claude Opus 4.8这种级别的闭源模型基本持平。

这套方法还经受住了"换个更大的底座模型"的考验。研究团队把同样的训练配方套用在体量更大的GLM-5.3-Flash上，得到TEV-320B，在TB 4.0上的通过率提升了28%，最终成绩仅次于Claude Opus 5、Claude Fable 5和GPT-5.6这三个最顶尖的闭源模型，拿下了开源阵营的第一名。

论文还专门做了一组对照实验来验证，到底是数据构造方式起作用，还是打分方式起作用。结果发现，如果把latent-world-first这套流程里的某个环节换成直接让大模型来写（比如只让大模型来写验证程序，而不是依靠隐藏的标准世界），训练出来的模型反而比不训练还差,用S@1这个指标衡量从0.25掉到0.24。而如果保持数据生成方式不变，只是把奖励机制换回传统的只在终点打分,效果同样明显落后于论文提出的PPRS方案。研究团队还提到一个细节，在27B这个更大规模上，传统的终点稀疏奖励甚至彻底跑不动,几乎所有训练批次的奖励方差都是零，连一步有效的优化都做不下去，而带了过程分数的PPRS能正常完成训练。这组对比很有说服力，说明这两个创新点是互相成就的，光靠标准世界打底不够，还得配上能利用这个标准世界的训练算法。

### 写在后面

读完这篇论文，印象最深的其实不是那些跑分提升的百分比，而是"先造标准答案，再倒推出题目"这个思路本身。

我们平时想到出题，默认都是正向的：先想一个问题场景，再琢磨答案怎么对。这篇论文反过来走，先把答案世界搭建得严丝合缝，再往回"做旧"出一道题。这种倒推的思路，其实在很多领域都有影子,比如密码学里先设计好解密算法再反推加密规则，推理小说创作里很多作者也是先想好凶手和作案手法，再倒着编排线索给读者。但把这套思路系统化用在AI训练数据生成上，而且专门为了解决"长任务缺乏中间验证"这个具体痛点，这个组合我是第一次看到讲得这么透。

还有一个细节让我一直在琢磨：论文里提到，开源模型在TEV-GYM这批高难度任务上的原始通过率只有3.2%，而顶级闭源模型跑同一批任务，通过率也只有29%左右。这意味着就算是最前沿的闭源模型，面对这批真正意义上的长任务，依然只能解决不到三成。这说明长任务这件事，距离被彻底攻克还远得很，这篇论文提供的是一套可以持续喂养训练的"教材"和"打分系统"，而不是终点线。

论文里反复强调一个词，叫"可扩展"。生成一个任务环境只要30秒CPU时间，不调用任何大模型，这意味着未来这类数据可以无限地造下去，只要有人愿意写更多的生成器代码。这跟靠人工或者靠大模型现编任务的路子完全不同,前者的成本曲线是接近水平线的，后者的成本曲线会随着任务复杂度陡峭上升。这个差异,可能比跑分提升本身更值得关注。

Q&A

Q1：TEV-GYM数据集是什么？

A：TEV-GYM是论文构建的长任务训练数据集，包含1170个经过验证的任务环境，覆盖软件工程、数据工程、AI研究、数学运筹、网络安全、基础设施运维、量子计算七大领域,每个任务都带有可实时打分的进度反馈。

Q2：PPRS奖励塑形和传统强化学习奖励有什么区别？

A：传统方法只在任务彻底完成时给一次奖励，导致全部失败的训练批次毫无用处；PPRS额外引入每一步的进度潜力变化作为奖励，让没完成任务的尝试之间也能分出优劣，大幅提高训练效率。

Q3：TEV-27B模型效果怎么样？

A：TEV-27B在ALE-CM评测集上最佳五次采样通过率提升65%，追平GPT-6 Astra和Claude Opus 5；在从未训练过的Terminal-Bench系列评测上也有明显泛化提升，验证了训练方法的有效性。