谷歌与MIT联手打造"会自我成长的AI助手"：让智能体像老员工一样越干越顺手

这项由伊利诺伊大学厄巴纳-香槟分校、谷歌云AI研究院和麻省理工学院联合开展的研究，以预印本形式于2026年5月发布在arXiv平台，编号为arXiv:2605.06614v1。感兴趣的读者可以直接通过该编号检索到完整论文。

**一切都要从一个令人沮丧的现象说起**

假设你公司招了一名新员工，他第一天来处理一个客户投诉，花了两个小时才弄清楚流程；第二天另一个客户打来同样的问题，他又花了两个小时从头摸索。三个月后，第一百个类似问题出现，他依然像第一天一样茫然无措——完全不记得之前处理过同类情况，更谈不上从经验中总结出高效的处理方法。

这听起来简直是噩梦，但这恰恰是当前大多数基于大语言模型的AI助手（也就是我们常说的"智能体"）的真实状态。每次面对新任务，它们都像刚入职的新员工，从零开始思考，对过去做过的事情一无所记。这种"一次性解题器"的特性，让AI在需要长期积累经验的场景下几乎毫无优势。

研究团队将这个问题的核心归结为：AI需要"技能"——不是那种一次性使用就扔掉的知识，而是可以从过去经验中提炼出来、在未来遇到类似情况时随时调取使用的、真正可复用的经验精华。而如何让AI聪明地积累、整理和运用这些技能，就是这篇论文要解决的关键问题。

研究团队提出的解决方案名叫SkillOS。这个名字很有意思——OS是操作系统的意思，就像电脑里管理软件和文件的系统一样，SkillOS管理的是AI的技能文件库。在接下来的内容里，我们会详细拆解这套系统是如何设计的，它到底解决了什么问题，又带来了哪些令人印象深刻的结果。

**一、老问题：AI为什么总是"健忘症患者"**

回到我们那位"新员工"的比喻。如果这名员工每天下班前都能把当天处理客户问题时发现的技巧写进一个笔记本，第二天遇到类似问题时翻出来参考，那么随着时间推移，这本笔记本会越来越有价值，员工也会越来越高效。这就是所谓的"技能积累"。

对AI来说，这件事并不简单。目前已有一些研究尝试给AI配备"记忆"，但大致分成两类，各有明显的局限。

第一类是人工整理的技能库。比如Anthropic公司（Claude的开发者）已经建立了一套精心策划的技能仓库，里面装着各种经过人工编写和验证的使用指南。这套库确实好用，但问题在于需要大量人工专家投入，而且面对千变万化的实际任务场景，人工整理根本跟不上节奏。

第二类是让AI自己根据规则或提示语来管理记忆。这类方法依赖预先设定的固定规则来决定"记什么、怎么记"，但这些规则本身不会根据实际效果进行调整。换句话说，这类AI并不真正知道自己记下的技能对以后有没有用——它只是在按章办事，不管结果好不好。

最近有一些研究开始尝试用强化学习（一种让AI通过"试错获得奖励"来学习的方法）来优化技能管理，但这些工作要么专注于教AI"怎么用"技能，要么只在非常短的时间窗口内做优化，缺乏对长期价值的考量。真正难的问题没有得到解决：AI的技能管理决策会产生延迟效果——现在记下的技能可能要在很久以后的任务里才能体现出价值，如何根据这种"延迟反馈"来学习，是一个真正的技术挑战。

**二、SkillOS的核心设计：两个搭档，各司其职**

SkillOS的设计哲学可以用一家餐厅来理解。餐厅有两类核心角色：厨师和食谱管理员。厨师的工作是面对顾客点单，按照食谱做出菜肴；食谱管理员的工作是在每天收工后，根据今天厨房里发生的事情——哪道菜受到好评、哪个步骤容易出错、有没有发现新的烹饪技巧——来更新和完善食谱库。

在SkillOS里，"厨师"的角色由"智能体执行器"（Agent Executor）扮演，"食谱管理员"的角色则由"技能策展者"（Skill Curator）担任。两者共同维护一个叫做SkillRepo（技能仓库）的文件库。

智能体执行器是一个被冻结的AI模型，在整个训练过程中参数不会改变。它的职责很单纯：面对一个新任务，先从技能仓库里检索出最相关的几条技能（使用的是一种叫BM25的经典关键词匹配方法），然后结合这些技能和当前环境的观察信息，一步一步采取行动完成任务。

技能策展者则是一个需要通过学习来不断进化的AI模型。每当执行器完成一个任务（无论成功还是失败），策展者就会接收这次任务的完整交互记录，包括任务描述、执行的每一步行动、观察到的环境反应，以及最终结果是否成功。基于这些信息，策展者可以对技能仓库执行三类操作：插入一个新技能、更新一个已有技能，或者删除一个不再有用的技能。

每个技能都以Markdown文件的形式存储，这种格式就像一份结构化的说明书。每个技能文件包含两个主要部分：一个YAML头部，用来注明这个技能的名字以及应该在什么情况下使用它；还有一个正文部分，用Markdown格式写出具体的操作流程、注意事项、不适用的场景，以及各种可复用的经验规律。这种格式既对人类可读，也方便AI处理，已经被Anthropic等公司广泛采用。

**三、真正的创新：如何教会策展者做出"有远见"的决策**

仅仅设计出这个双角色框架还不够。更难的问题是：怎么训练技能策展者，让它学会做出对长远有益而非只顾眼前的决策？

这就像教一个人做长期投资，而不是只追短期收益。策展者现在整理的一条技能，可能需要在未来十次、二十次任务之后才能体现出它的真正价值。如果只看当下任务的结果，无法判断这个决策是好是坏。

研究团队为此设计了两个关键机制，这也是整篇论文最核心的技术贡献所在。

第一个机制是"任务组训练"。研究团队不是让策展者在单个任务上学习，而是将训练数据中的任务按照相关性分成一组一组的。在一个任务组里，任务之间存在技能上的依赖关系：处理靠前的任务时总结出的技能，应该能帮助解决靠后的相关任务。

具体操作上，研究团队首先用Gemini-2.5-Pro（谷歌的强力AI模型）对每个训练任务进行"标签标注"，给每个任务打上若干描述其特征的短语标签，比如任务涉及的主题、需要的技能类型、相关的数学概念（对于推理任务）、常见错误等。然后，根据这些标签之间的语义相似度，将任务聚类成若干任务组，确保同一组内的任务在所需技能方面有实质性的重叠和依赖关系。

有了这种任务组结构，策展者就能体验到真实的"技能积累"场景：在组内的第一个任务之后更新技能库，更新后的技能库会被执行器用于处理第二个任务，第二个任务的结果反过来告诉策展者之前的更新是否真的有帮助……如此循环。这样，策展者的每一个决策都能得到来自后续相关任务的"延迟反馈"。

第二个机制是"复合奖励函数"。在强化学习里，奖励信号就像老师给学生打分，信号越准确、越细致，学生学得越好。研究团队设计了四种奖励信号，共同构成策展者的"成绩单"。

任务成功奖励是最主要的奖励来源，它衡量的是在一个任务组里，第二个及之后的任务（因为第一个任务开始时技能库是空的，还没有积累任何技能）的平均成功率。这是直接衡量技能积累效果的核心指标，但它是延迟的——策展者需要等到后续任务执行完才知道自己之前的决策是否正确。

函数调用奖励是一个即时的中间奖励，衡量策展者发出的技能操作指令是否符合格式规范、是否能被系统成功执行。这相当于检验策展者的"写作能力"——能不能把想法正确地表达成系统能识别的操作。

内容质量奖励由一个外部评判模型（使用的是Qwen3-32B，另一个大语言模型）来打分，评估策展者整理出的技能内容是否足够抽象通用（而不是把具体任务的细节直接复制进去）、是否真的可复用、是否有可操作性、是否如实反映了任务中发生的事情而没有捏造。

压缩奖励是一个鼓励"精炼"而非"堆砌"的奖励。它衡量策展者是否能用尽量少的文字表达出有价值的技能，而不是把整个任务的交互记录原封不动地塞进技能库。技能库越紧凑，执行器检索时的负担越小，理解起来也更容易。

将这四种奖励按照不同权重组合在一起，研究团队就得到了一个既关注长期效果、又提供丰富即时反馈的综合学习信号。

**四、实验：SkillOS在三类战场上的表现**

研究团队在三类差异显著的任务上对SkillOS进行了全面测试，以验证它的通用性。

第一类是ALFWorld——一个文字版的家庭助手环境。在这个环境里，AI需要通过文字指令完成各种家务任务，比如"把一只热苹果放进冰箱"。AI要从文字描述中理解自己在哪个房间、周围有什么物品，然后通过"去…地方""拿起…东西""打开…""加热…"等高级命令一步步完成任务。这个基准测试涵盖了六种不同类型的家务任务，包括"拿取并放置"、"在灯下查看物品"、"清洁并放置"、"加热并放置"、"冷却并放置"以及"拿取两件物品并放置"，共140个测试场景。

第二类是WebShop——一个模拟网购的环境。AI需要根据用户指令在一个包含超过百万件真实商品的模拟购物网站上找到符合要求的商品并完成购买。用户指令可能包含对商品类型、属性、颜色、价格等多种要求，AI要通过搜索和点击来完成购物任务。

第三类是数学推理任务，包括AIME 2024（2024年美国数学邀请赛）、AIME 2025以及GPQA-Diamond（研究生级别的自然科学多选题，被称为"谷歌无法搜到答案"的超难题库）。这些任务是单轮的——AI只需给出一个答案，不需要与环境交互，但需要极强的推理能力。

研究团队拿SkillOS与多个对照基准进行了比较。最基础的是"无记忆"的AI，每次任务从零开始，代表不积累任何经验的状态。ReasoningBank是一种从过去经验中提炼可复用洞见并存储成可检索知识库的方法，代表了内容导向的记忆积累方式。MemP是一种使用了包含整合、遗忘、重新索引等高级策略的程序性记忆方法，代表了规则驱动的记忆管理方式。此外还有两个SkillOS的内部变体：SkillOS-base是没有经过强化学习训练的原始版本，只靠提示语来指导策展者工作；SkillOS-gemini则是用Gemini-2.5-Pro（而不是较小的Qwen3-8B）直接充当技能策展者，代表了"用更强的大模型零样本做策展"这条路线。

在ALFWorld上，以较小的Qwen3-8B作为执行器时，SkillOS的平均成功率达到61.2%，而最强的基准方法ReasoningBank只有55.7%——提升了将近10个百分点。每个任务类型上几乎都能看到明显提升，尤其是"在灯下查看物品"这类需要对环境有细腻理解的任务，提升幅度最为显著。换用更强的Qwen3-32B作为执行器时，SkillOS从54.5%提升到68.6%；换用最强的Gemini-2.5-Pro作为执行器时，则从66.4%提升到80.2%。

在效率方面，SkillOS的优势同样明显。以Qwen3-8B执行器为例，无记忆基准平均每个任务需要21.1个交互步骤，SkillOS只需要18.9步，减少了约10%的多余操作。这意味着技能积累不只是帮助AI"做对"，还帮助AI"做快"——找到了更直接的解题路径，减少了不必要的探索。

在WebShop上，SkillOS的成功率（完美匹配用户所有要求的比例）从约12%提升到了16.5%（以Qwen3-8B执行器为例），同样显著领先所有基准方法。

在推理任务上，SkillOS同样带来了提升，但幅度相对较小。研究团队对此给出了合理的解释：家务和购物这类任务天然包含大量可以程序化的操作规律（比如"搜索物品时应该先去什么地方""当找不到某个物品时应该尝试哪些备选方案"），这些规律非常适合被提炼成可复用技能。而数学推理任务的可复用知识更多是抽象的思维策略，比如"如何分解问题""什么时候用反证法"，这类知识比具体操作步骤更难提炼和迁移，所以提升空间相对有限，但依然是正向的。

一个特别值得关注的发现是：使用强化学习训练出来的8B参数（亿级参数）小模型担任策展者，竟然比直接用Gemini-2.5-Pro（参数规模大得多的前沿模型）零样本担任策展者效果更好。这说明，针对性地训练一个专门做技能策展的小模型，比依赖一个强大但没有专门训练的大模型更有效。技能策展需要的不只是"聪明"，更需要"理解执行器的实际需求"——而这正是强化学习通过大量试错所能学到的东西。

**五、泛化能力：训练一次，随处可用**

SkillOS还在泛化性方面展示了令人印象深刻的结果。训练时，研究团队只用Qwen3-8B作为执行器，但测试时，他们把训练好的策展者与完全不同的执行器配对，包括更大的Qwen3-32B和谷歌的旗舰模型Gemini-2.5-Pro。结果显示，SkillOS学到的技能策展能力能够顺利迁移到这些从未在训练中出现过的执行器上，并且依然带来了显著的性能提升。

更有趣的是跨任务泛化实验。研究团队将在ALFWorld上训练的策展者直接用于WebShop和推理任务的测试，反之亦然。结果显示，虽然在同一任务上训练和测试通常能获得最大提升，但大多数跨任务的组合依然能带来正向的性能改善，表明SkillOS学到的不只是特定任务的技巧，而是更通用的技能策展能力。

一个特别有趣的规律是：在推理任务上训练的策展者迁移到家务和购物任务时，效果相当不错。研究团队的分析认为，这是因为推理技能往往更加抽象和高层次，包含了分解问题、验证步骤、适应性规划等通用思维方式，这些方式在各种任务中都有一定的适用性。而在家务或购物任务上训练出来的技能则更依赖于特定环境的知识，迁移到完全不同的环境时自然效果打折。

**六、SkillOS是怎么"成长"的：训练过程中的行为演化**

研究团队还深入分析了SkillOS在训练过程中的行为变化，这些分析揭示了强化学习如何一步步塑造出更聪明的策展行为。

从三种操作（插入、更新、删除）的比例变化来看，训练早期，插入操作占据绝对主导地位，高达约80%甚至更多。这说明策展者最初的学习重点是"填充空白"——毕竟空的技能库什么都没有，首要任务自然是把遇到的经验记下来。

随着训练的推进，更新操作的比例持续上升，插入操作的比例相应下降。这标志着策展者进入了"精炼"阶段——不再只是盲目地添加新内容，而是开始回顾已有的技能，识别出哪些技能可以通过更新变得更全面、更准确、更有用。这种从"扩张"到"优化"的转变，正是学习深化的标志。

删除操作在整个训练过程中始终占比较小，但有缓慢增长的趋势。这说明策展者也逐渐学会了识别和清理那些低价值或有害的技能，但更主要的精简方式是通过更新来浓缩内容，而不是简单粗暴地删除。

技能库本身的结构也在演变。训练早期，技能库里充斥着高度具体的、针对特定物体或特定位置的技能，比如"如何处理书桌上的特定物品"。随着训练推进，这些任务专属技能逐渐减少，取而代之的是更加通用的"元策略"技能，包括状态验证技能（如何确认自己是否处于正确状态）、系统性搜索技能（当找不到目标时如何有条理地搜索整个环境）、失败恢复技能（当一种方法行不通时如何切换策略）以及备选方案策略（如何识别并使用替代品）。

每个技能文件内部的结构也在进化。训练早期，策展者倾向于在技能里添加诸如"高级指导"、"提示"、"建议"之类的通用章节——这些内容听起来有用，但往往比较泛泛，没有多少实际操作价值。随着训练深入，这些泛泛的章节逐渐被更有针对性的内容替代，比如"错误处理逻辑"（明确说明当某一步出错时应该怎么办）和"条件分支"（明确说明在什么条件下应该偏离默认流程）。这种变化反映了强化学习将策展者的注意力从"表面充实"引向了"实际有用"。

**七、技能真的被用上了吗：使用归因分析**

为了验证性能提升确实来自技能的有效积累和使用，而不是某些其他因素，研究团队从四个维度分析了技能的使用情况。

技能使用率方面，SkillOS在所有评估场景中都会使用至少一条技能（100%），而SkillOS-base（未经训练的版本）只在87.9%的场景中调用了技能。成功使用技能后的任务成功率方面，SkillOS达到88.6%，而SkillOS-base只有61.2%。技能覆盖率（技能库中实际被用到的技能占总技能数的比例）方面，SkillOS达到72.9%，SkillOS-base只有53.6%——说明SkillOS整理的技能整体质量更高，不那么容易出现"整理了一堆没用的"的情况。平均每个任务使用的技能数量方面，SkillOS实际上比SkillOS-base少（1.95条 vs 2.24条）——这说明SkillOS的提升来自更精准的技能选择，而不是堆砌更多的技能。

这四个维度的数据共同勾勒出一幅清晰的图景：SkillOS学会了整理出质量更高、更有针对性的技能，并且在使用时也更加精准，而不是什么都用上、依靠量取胜。

**八、消融实验：每个设计都有其必要性**

研究团队还系统地验证了各个设计组件的必要性，通过逐一"拆除"某个组件来观察性能变化。

去掉内容质量奖励之后，平均成功率从61.2%下降到58.6%，同时每个任务需要的平均步数从18.9增加到20.1。这说明在技能内容的质量上给策展者即时反馈是很重要的——否则策展者可能会整理出结构合规但内容空洞的技能，而要等到后续任务失败时才知道出了问题。

去掉压缩奖励之后，成功率小幅下降至60.0%，平均步数增加到19.3。虽然影响相对较小，但方向一致：鼓励精炼确实有助于技能库保持简洁高效，方便执行器快速找到并理解相关技能。

最显著的影响来自去掉任务组结构，改为随机任务序列的实验。这一改变导致成功率大幅下降至57.3%，平均步数增加到20.6——比所有有记忆的基准方法还要差，几乎退回到接近无记忆基准的水平。这个结果非常清楚地说明：让策展者在相关任务序列中学习，是整个SkillOS有效工作的根本前提。没有这种结构性的训练安排，策展者根本无法学到有意义的长期策略，因为它看不到自己的决策与未来结果之间的因果联系。

说到底，SkillOS做的事情其实很接近我们每个人职业成长的方式。一个经验丰富的工程师之所以比新手高效，不只是因为他"更聪明"，更是因为他脑子里积累了大量可以快速调取的经验模板——遇到某类问题，直接调取上次处理类似问题时总结的方法，而不是每次都从头思考。SkillOS就是在给AI建立这样一套"经验模板"的积累和管理机制，而且它能自己学会如何更好地维护这套模板。

这项研究最令人印象深刻的地方或许在于，它证明了一个专门训练的小模型在某项特定任务上可以超越参数量大得多的前沿模型。这对AI领域的实际应用有很重要的启示：并不是所有问题都需要用最大的模型来解决，针对性地训练一个小而专的模型，往往能以极低的成本达到甚至超越"大力出奇迹"的效果。

当然，研究团队也坦诚地指出了一些局限。检索机制目前还比较简单，只靠关键词匹配，未来如果能换成更智能的语义检索方法，效果可能会进一步提升。技能的表示形式目前是单一的Markdown文件，未来如果能支持层次化的技能组织（一个复杂技能由多个子技能组合而成）以及可执行的代码技能，表达能力会更强。执行器在训练过程中是固定不变的，未来如果能让执行器和策展者一起进化，可能会形成更好的协同效应，但代价是更高的训练复杂度。

归根结底，SkillOS展示了一条让AI真正从经验中成长的可行路径。有兴趣深入了解技术细节的读者，可以通过arXiv编号2605.06614查阅完整论文。

Q&A

Q1：SkillOS里的"技能"具体指什么？和普通的AI记忆有什么区别？

A：SkillOS里的技能是用Markdown格式写成的结构化说明文件，每个文件包含技能名称、适用场景描述，以及具体的操作流程、注意事项和经验规律。与普通的AI记忆（比如直接存储过去的对话历史或任务轨迹）不同，SkillOS的技能经过了抽象和提炼，把具体任务中的细节去掉，保留可以跨任务复用的通用方法，更像是"经验总结"而不是"原始记录"。

Q2：SkillOS训练好之后，遇到从来没见过的任务类型还管用吗？

A：根据实验结果，管用但效果会有所不同。研究团队专门测试了跨任务迁移——比如把在家务机器人任务上训练的策展者用于购物或数学推理任务。结果显示大多数跨任务组合依然能带来性能提升，但幅度通常小于在同类任务上训练测试的情况。其中，在数学推理任务上训练出来的技能迁移到其他任务时效果相对更好，因为这类技能往往更加抽象通用。

Q3：SkillOS和直接让Gemini这样的超强AI模型来管理技能有什么区别，为什么小模型反而更好？

A：直接用Gemini-2.5-Pro做技能策展者（论文中称为SkillOS-gemini）虽然策展者本身更聪明，但它不了解实际执行任务的AI（执行器）的具体能力和习惯，整理出来的技能可能对执行器来说过于复杂或不匹配。SkillOS通过强化学习训练，让策展者在大量试错中学会了整理"执行器真正用得上"的技能，这种针对性的训练让8B小模型在实际任务效果上超过了零样本使用的大模型。