AI智能体学会了边做事边总结经验，但这事比想象中难得多

你有没有遇到过这样的同事：每次做完一个项目,都要写一份详尽的复盘报告,把这次用到的技巧都记下来，希望下次用得上。听起来是个好习惯，但问题是，如果这个同事自己也在不断成长，他上个月总结的"经验"，这个月可能早就用不上了，因为他本身已经变强了，不再需要那条经验的提醒。

这正是让AI智能体研究者们头疼的一个问题。

**当AI边干活边总结经验，会出现一个说不清道不明的麻烦**

近两年，大语言模型驱动的智能体越来越流行,不管是让AI帮你网购、玩文字冒险游戏，还是处理复杂任务,研究者们都发现一个规律：如果让AI把做过的任务总结成"可复用的技能"存起来，下次遇到类似任务就去查这个"技能库"，效果会好很多。这就跟人类工作差不多,老员工脑子里那本"怎么把事情办好"的无形手册，往往比任何培训教材都管用。

LLM智能体*：基于大语言模型构建的自动化系统，它可以理解任务指令、感知环境反馈、自主决定下一步动作，常用于游戏、网购模拟、办公自动化等场景。

技能库*：存储一系列文本形式的"经验条目"的数据库，每条经验描述某类任务中值得遵循的做法，供智能体检索参考。

早期的做法比较简单粗暴：找一个参数不会变的、特别聪明的大模型，专门负责从历史记录里提炼技能，智能体干活用的是另一个模型。这就像请了一位退休的老专家，专门给年轻员工写培训手册，老专家自己不用上手干活，所以他写的手册内容是稳定的,不会因为自己水平变化而跟着变。

但后来研究者们发现,如果能让干活的那个模型本身也参与"写手册"的工作，边干边学、边学边改进手册，效果可能更好。毕竟谁会比正在做这件事的人更清楚哪里卡壳了呢?问题也就从这里开始了。

当"写手册的人"和"用手册的人"是同一个不断进步的大脑时，怎么判断一条新写的经验到底好不好?

直接的办法是：把这条新经验塞进手册里，下次遇到类似任务时，让AI按照新手册去做，看看成功率有没有提高。这个办法听起来很合理，但有一个致命的时间差问题。

设想一下，你今天教了新员工一个技巧，但在你评估这个技巧有没有用之前，这个员工自己已经通过别的训练变得更厉害了。等你真的拿这个技巧去测试时,员工表现确实变好了,但这到底是技巧起作用了,还是员工自己进步了?你根本分不清楚。

这就是论文里说的"反馈滞后"问题。在联合训练过程中，智能体的核心策略模型会不断被更新,等到一条新提出的技能被实际检验的时候,策略模型可能已经不是提出技能那一刻的那个模型了。用这种延迟的、混杂了策略自身进步的反馈去训练"技能提议器"（也就是负责生产经验条目的那部分能力），结果就会很不准。

一种更直接的解决方案是：每提出一条新技能，就专门为它跑一遍新的环境测试，看看效果如何。这个思路被称为Evolving-RL,一种此前的研究方法。听起来很严谨，但代价巨大，每提出一条候选技能都要额外跑一轮完整的任务交互，计算开销直接爆炸。而且论文作者在实验中发现,这种做法在训练到一定阶段后会出现性能崩溃，前期进步很猛，后面突然掉得很惨。

那怎么办？论文给出的答案很巧妙：不需要为每条新技能单独跑一遍测试,利用已经收集到的历史轨迹就够了。

**核心思路：靠对比"旧行为的解释力"来打分**

这篇论文提出的方法叫UniSkill，核心创新点是一种叫做对比动作反馈的评估机制。

对比动作反馈*：一种不需要额外环境交互、仅利用已有历史轨迹来评估新提议技能是否适合当前策略模型的打分方法。

它的逻辑说起来并不复杂。假设AI做了同一个任务八次，其中有几次成功了，有几次失败了。现在AI提出了一条新技能，打算替换掉原来检索到的那条旧技能。UniSkill不会让AI重新去跑任务测试这条新技能，而是做一件更巧妙的事：拿出之前已经录好的那些成功轨迹和失败轨迹，把里面记录的每一步动作，重新用"假设当时用的是新技能"这个条件去计算，这个动作在当时被模型选中的概率有多高。

具体来说，论文定义了一个叫做Ralign的指标，计算方式是：新技能让成功轨迹里动作的"可能性"提高了多少，减去新技能让失败轨迹里动作的"可能性"提高了多少。如果这个差值是正的，说明新技能让模型更倾向于做出成功轨迹里的那些选择，而不是失败轨迹里的那些选择。这就是作者说的"演员对齐"信号，意思是这条新技能是不是真的适合当前这个版本的模型。

这里有个关键的巧思：整个计算过程中，策略模型本身是冻结不动的，录下来的历史动作也是固定不变的，唯一变化的只是"假设当时用了哪条技能"这个条件。这样就巧妙地绕开了"策略一直在变"这个麻烦，相当于把时间定住，只换一个变量来对比。

生活中最接近的类比大概是这样：你想知道一本新出的烹饪指南是不是真的比你手头的旧菜谱更适合你，但你不想真的照着新指南重新做一遍菜来验证。于是你拿出上周做的几道菜的记录,有几道做得特别成功，有几道搞砸了，然后你反过来想一下，如果当时手里拿的是这本新指南而不是旧菜谱，你会不会更自然地做出成功那几道菜里的操作，而不是搞砸那几道菜里的操作？如果答案是肯定的，这本新指南大概就是适合你当下厨艺水平的。如果不这么做，而是真的买菜重新做一遍去验证，那每换一本新菜谱就要重新买菜做菜,时间和食材的成本都会直线上升，这正是Evolving-RL那种"每个技能都额外跑一遍"方法代价高昂的原因。

论文里给出了一个非常具体的ALFWorld（一个文字版的家务模拟游戏环境）案例,很能说明这套机制怎么运作。任务是把水壶放到架子上，旧技能告诉AI去柜子、餐桌、冰箱里找水壣,结果AI翻遍了这些地方都没找到，最后发现水壶其实放在灶台上。于是AI提议把灶台也加进搜索清单。这条新提议经过计算，?+是0.00110，?–是负0.01951，相减得到Ralign等于0.02061，是正数，于是这条更新被接受存入技能库。后来同样的任务再次出现时，使用了更新后技能的八次尝试全部成功，而且平均交互步数从28.25步缩短到16.75步。这个案例清楚地展示了：当新经验确实解决了旧经验的盲区，Ralign就能正确识别出来，并且这种改进在后续真实使用中确实能兑现。

**光靠打分不够，还得找个"裁判"把关内容质量**

Ralign虽然能衡量一条技能是否符合当前策略的行为倾向，但它没法判断这条技能到底写得对不对、是不是凑数据凑出来的垃圾内容。论文里提到一个很现实的风险：如果一条提议的技能只是把这次任务里的具体细节原封不动抄一遍（比如"去3号柜子拿杯子"这种只对这一次任务管用的内容），它也可能因为凭借死记硬背而拿到不错的分数，但这种内容根本没法复用到别的任务上。

为了堵住这个漏洞，UniSkill引入了一个叫技能批评者的角色。

技能批评者*：一个独立的、冻结参数的大模型（论文中用的是DeepSeek-V4-Pro），专门负责判断提议的编辑操作是否合理、提议的技能内容是否真的得到轨迹支撑且具备可复用性，它给出的是"合格/不合格"式的判断,而不是打分。

每条技能提议都要先过格式检查，再交给批评者审核。批评者要回答两个问题：这个编辑操作（是新增、更新还是不动）本身合不合理？这条技能内容是不是真的从轨迹里学出来的、能不能用到别的任务上？只有批评者认为内容合格了，Ralign的打分才会被真正采用；如果批评者认为不合格，不管Ralign打出多高的分，这条技能内容照样会被判负分淘汰。

这套"双重把关"机制有点像招聘时的流程：面试官先看简历是不是基本靴项齐全（格式检查），然后判断候选人申请的岗位是不是真的合适（编辑操作是否合理），最后还要看候选人过去的项目经历是不是真材实料、能不能迁移到新岗位（内容是否被支撑且可复用）。如果跳过简历初筛和背调，直接看候选人在模拟面试里的临场表现打分，很可能被一个会临场发挥但底子空的候选人骗过去。两道关卡叠加，才能相对可靠地筛出真正有用的技能。

**三选一的编辑决策：加、改，还是不动**

每次AI完成一次任务后，技能提议器都要做一个三选一的判断：NO EDIT（技能库不用动）、ADD（新增一条技能）、还是UPDATE（修改已有的那条技能）。

这个设计背后有个很实际的考虑：不是每次任务结束都值得往技能库里塞东西。如果每次都强行加一条，技能库很快会被各种鸡毛蒜皮的细节塞满，检索的时候反而找不到真正有用的那条。所以"什么时候不动"和"什么时候动"一样重要。

但这里暴露了一个训练上的麻烦，论文管这个叫技能编辑支持正则化要解决的问题。

技能编辑支持正则化*：一种防止某个编辑操作被训练过程"过度打压"从而再也不被尝试的正则化手段，目的是让AI在整个训练周期里始终保留"新增""更新""不动"三种选择的探索可能性。

问题出在哪？因为"选哪种编辑操作"和"提议的技能内容写得好不好"共用同一套训练信号。假设AI提议了"新增一条技能"，但这条技能内容本身写得很差，被打了负分。这个负分不仅会打压"写出这条差内容"这件事，还会连带打压"选择新增这个操作"本身，即便从道理上讲，这次任务确实应该新增技能，只是写得不好而已。这种连带打压如果反复发生，某个操作（比如"更新"）可能会被训练到几乎再也不被选中，整个技能库就会陷入一种退化的单一模式。

论文里的实验非常直观地展示了这种退化。在没有加这项正则化的情况下，有一次实验运行到第57步之后，模型就只会选"新增"这一个操作，再也不会选"更新"或者"不动"了，技能库的编辑行为彻底僵化。换个角度看另外两次独立实验，一次是从第21步起只会选"不动"，另一次是从第104步起只会选"新增"。三次运行退化到的具体操作还不一样，但共同点是，一旦某个操作被持续打压，它就再也翻不了身。

这就跟团队里的奖惩机制设计得不好时会出现的现象很像。假设一个团队规定，谁提出的方案被采纳，这个人以后提方案的权重就会上升；谁的方案被否决，权重就下降。如果某个人第一次提的方案质量确实不行，被否决了，权重掉了一截，那么他第二次、第三次提方案的机会都变少了，即便他后来想到了一个真正的好点子，也很难有发言权去把它说出来，整个团队的提案就会逐渐集中在最早几次就"押对了"的那几个人身上，别的声音彻底消失。如果不设计任何保护机制，系统很快就会陷入这种赢家通吃的单一化状态，哪怕这个状态其实并不是最优的。

技能编辑支持正则化的做法是，专门监控每种编辑操作被选中的概率，如果某个操作的概率跌到一个预设的下限（论文里设的是0.1）以下，就对这个"过度压低"的情况施加一个额外的惩罚，把概率往回拉一拉。注意这不是强行要求三种操作平均分配概率，而是设一条"保底线"，不让任何一个选项被彻底判死刑。实验证实了这招确实管用：加了这项正则化之后，三种操作在整个250步的训练过程中始终都在被尝试，比例随时间自然变化，而不是坍缩成单一选择。而且加了这项正则化的训练，验证集上的任务成功率明显更高，前期提升更快，后期也更稳定。

**真正跑起来效果怎么样**

说了这么多设计思路，最终还是要看效果。论文在两个经典的智能体测试环境上做了验证，一个是前面提到的ALFWorld家务模拟环境，另一个是WebShop网购模拟环境。

WebShop*：一个模拟真实电商网站购物流程的测试环境，智能体需要根据自然语言描述的购物需求，搜索、查看商品详情、最终完成符合要求的购买操作，常用来衡量智能体处理多步骤、带有搜索和决策环节任务的能力。

结果显示，UniSkill在ALFWorld上拿到了98.4%的任务成功率，在WebShop上拿到了90.5分的任务得分（满分制），对应84.7%的成功率。拿这个数字跟几个重要的对照组比一比会更有感觉。单纯用强化学习训练、不涉及任何技能库机制的GRPO方法，在ALFWorld上成功率是77.6%，UniSkill比它高出整整20.8个百分点。换算一下，这意味着每5个任务，GRPO大概会多搞砸1个，而UniSkill基本都能搞定。跟直接的竞争对手Evolving-RL比，UniSkill也高出5.4个百分点，而且前面提到的那种后期崩溃现象，在UniSkill身上完全没有出现，训练到250步的时候，成功率曲线整体依然是向上走的。

训练效率方面的对比更有说服力。论文测算了每一步训练花费的时间，Evolving-RL因为需要给每条候选技能单独跑一轮环境测试，这一项就吃掉了超过1200秒，占到总耗时的大头，整体一步训练要1559.2秒。UniSkill因为用的是历史轨迹里的现成数据来打分，这部分只花了26.1秒，整体一步训练只要506.7秒,只是Evolving-RL的三分之一左右。省下来的时间比UniSkill在其他环节多花的时间（比如策略模型本身跑得稍微久一些）还多得多，总账算下来反而更快。

论文还专门测试了把模型从70亿参数换成30亿参数的小模型会怎样,结果是UniSkill依然能稳定提升，30亿参数版本训练到后期甚至超过了70亿参数版本的GRPO基线。这说明这套机制不是靠堆大模型硬撑出来的效果，换一个小一些的大脑照样能跑得通。

**几个让人意外的细节**

论文里有一组消融实验的数字，很值得拿出来单独说一下。研究者做了几个变体对比：只训练干活的那部分、冻结写经验那部分；或者反过来，只训练写经验那部分、冻结干活那部分；再或者，联合训练两部分，但是把Ralign这个关键信号从训练目标里拿掉。

结果是,如果去掉技能库检索这个环节，纯靠干活模型自己裸着应对任务，带着Ralign信号训练出来的版本能拿到96.1%的成功率，而没有Ralign信号的版本只有84.4%，差了11.7个百分点。这个差距很说明问题：即便最终评价的时候完全不让它查技能库，光是训练过程中有没有用这种"对齐当前策略"的反馈去塑造模型，就能带来实打实的能力差异。换句话说，这种反馈机制不只是帮技能库写得更好，它顺带也让干活的那部分模型本身变得更能干了，这是一个意料之外的额外收益。

另外一个让我有点意外的发现，是论文里诚实承认的一件事：Ralign这个指标并不是100%靠谱的。研究者专门做了一轮验证，把某个训练节点上提出的100条技能提议拿出来，针对每一条都真实跑了32次任务测试去验证它到底有没有用，然后拿这个真实效果去跟Ralign的预测分数做对比。结果显示两者整体上是正相关的（统计学意义上显著），但不是完美对应：有大约15%到25%的提议，Ralign打了正分，但实际测试下来效果反而变差了。

论文里专门挑了几个这种"预测和实际不符"的案例来剖析原因，这部分读起来挺有意思。比如有个案例是，AI提议把水壶的搜索范围从柜子、水池扩大到餐桌、储物间，这个想法从道理上讲没错，但是因为新增的候选搜索地点太多，反而让当前这个版本的AI在真实执行时注意力被分散了，表现不升反降。还有个案例是，AI提议了一条"找到一件物品就应该先放到目标位置，再去找下一件"的技能，道理上完全正确，但当前的AI在实际执行时并没有完全遵循这条新技能里隐含的顺序要求，导致表现变差。这些案例揭示的问题不是Ralign这个指标本身设计错了，而是提醒我们：一条技能"道理上对"和这个特定版本的AI"真的会执行对"之间，始终存在一道鸿沟，而这道鸿沟恰恰是留给后续训练去弥合的空间。

写在后面

读完这篇论文，让我印象最深的其实不是最终那98.4%的成功率数字，而是那组关于"预测和实际不符"的案例分析。研究者没有把这些不一致的样本藏起来当作噪音忽略掉，而是专门挑出来拆解每一个案例的具体原因,这种诚实面对方法局限性的态度，比堆砌一个漂亮的平均数更有价值。

还有一点触动我的是，这篇论文解决的根本问题，其实是一个在很多自我进化系统里都会反复出现的结构性矛盾：当一个系统既要执行任务、又要给自己写使用手册的时候，怎么判断新写的那条手册条目到底对现在的自己管不管用,而不是对三个月前的自己管不管用。这不只是AI智能体领域的问题,任何一个边干边总结、总结结果又会反过来影响下一步怎么干的系统，大概都会撞上类似的麻烦。只是AI智能体把这个问题暴露得特别赤裸,因为策略模型进化的速度肉眼可见，用的量化指标又摆在那里，想回避都回避不了。

那条"技能编辑支持正则化"的发现也值得多想一下。三次独立训练，各自坍缩到了不同的单一操作，这个细节本身就很值得琢磨。它说明这种退化不是因为某个操作天生更容易被选中,而是一种纯粹由训练动力学造成的"赢家通吃"现象，谁先在早期偶然多赢了几次，谁就会在后续训练里被不断加强，直到彻底垄断。这跟很多推荐系统里"马太效应"的成因,其实有点异曲同工的味道。

如果一个AI系统既要不断变强，又要不断记录经验，那它要记住的，到底应该是"这件事该怎么做"，还是"我现在这个版本的自己适合怎么做"？这两者听起来很像，但可能从来都不是一回事。

Q&A

Q1：UniSkill是什么？

A：UniSkill是一种让AI智能体在执行任务的同时，自主提出技能库编辑建议（新增、更新或不动）的训练框架，核心创新是用历史轨迹里的动作可能性对比来评估新技能是否适合当前模型，不需要额外跑环境测试。

Q2：UniSkill和Evolving-RL有什么区别？

A：Evolving-RL需要为每条候选技能单独跑一轮环境测试来评估效果，计算开销大且容易在训练后期出现性能崩溃；UniSkill利用已收集的历史成功和失败轨迹计算对齐分数，省去了额外测试环节，训练更稳定，每步耗时只有Evolving-RL的三分之一左右。

Q3：UniSkill的实际效果如何？

A：在ALFWorld家务模拟环境中成功率达到98.4%，在WebShop网购模拟环境中任务得分90.5分、成功率84.7%，均超过多种强化学习和技能增强基线方法，并且换用更小的30亿参数模型依然保持有效。