工作变技能:给AI装上"老员工的经验包"

你有没有遇到过这种情况：公司新来一个实习生,业务能力很强,电脑操作也很熟练,但就是不知道报销该走哪个系统,发票要贴在哪个位置,审批流程卡在谁手里。

你没办法把这些细节写进招聘启事,因为它们太琐碎了,但又确实构成了"把事情做好"和"把事情做砸"之间的全部区别。

现在把这个实习生换成一个AI智能体,问题一模一样。

这些能在电脑屏幕上点点点、打字、拖拽的AI助手,这两年进步很快,复杂的桌面操作、网页任务都能应付。但它们一旦碰到不熟悉的软件,或者需要特定公司、特定人才懂的操作习惯,就容易露怯。

论文里举了个很实在的例子:你让AI"帮我提交报销",它不知道该用哪个内部系统,该贴哪些发票,提交前该检查什么。这些信息不在任务指令里,而是藏在某个老员工的脑子里,或者藏在他每次重复做这件事的手指动作里。

那么问题来了:怎么把这些"手指记忆"变成AI能用的东西?

一群研究者想到一个办法,既然人和AI操作的是同一块屏幕、同一套鼠标键盘,那为什么不直接录下人是怎么做的,再让AI从录像里"悟"出操作背后的规则?

这就是Work2Skill这篇论文要讲的事。

### 为什么"录屏学习"这件事比想象中难

乍一听,这个思路挺简单的:录下人操作电脑的过程,喂给AI,它就能学会。

但实际做起来,三个麻烦接踵而至。

第一个麻烦是,鼠标点击的坐标只能告诉你"在哪点了一下",完全不能告诉你"点的是什么"。

屏幕上(350,120)这个位置,这一帧里可能是个按钮,下一帧可能变成别的东西,仅凭坐标数字,AI压根看不懂这次点击的真实含义。之前有两个代表性方法,一个叫ShowUI-Aloha,靠整张截图加局部放大图去猜测点击目标;另一个叫Demo2Tutorial,靠操作前后两张截图的对比去猜。两种方法都绕不开"猜"这个动作,因为它们手里压根没有操作系统本身提供的、关于"这个控件到底是什么"的权威信息。

这就好比你在看一段别人炒菜的无声视频,只看到手往锅里伸了一下,但你不知道那只手到底放了盐还是糖,因为摄像机没拍到调料罐上的标签。如果你非要靠猜,猜错的概率不会小。

Work2Skill的第一个组件叫WorkRecorder,它做的事情就是把这个"标签"也录下来。

> 无障碍树(Accessibility Tree,简称AX树):操作系统为了方便视障用户使用屏幕阅读器,会给每个界面元素记录名称、角色、位置等结构化信息,比如"这是一个名叫计算器的按钮"。WorkRecorder借用了这套系统,把它变成AI理解人类操作的说明书。

有了AX树的信息,AI就不再是对着一张截图瞎猜,而是能读到"刚才点击的是一个叫搜索的按钮",这个信息的可靠程度完全不同。

第二个麻烦,是比较方法的时候没有公平的擂台。

之前做类似研究的几篇论文,各自用的演示数据、测试任务、评估方式都不一样。结果是,你没法确定A方法比B方法好,到底是因为A的核心算法更聪明,还是因为A用的训练素材本来就更干净。这就像两个厨师比赛做菜,一个用进口食材一个用路边摊食材,做完说进口食材的厨师手艺更好,这个结论站不住脚。

为了解决这个问题,研究团队搭建了WorkDemo-350,一套统一的、标注齐全的演示数据集,让所有方法站在同一个起跑线上比。

第三个麻烦,也是最有意思的一个,是"看证据的顺序"这件事本身该不该被提前规定好。

之前的方法大多是流水线式的:先做动作解析,再做流程总结,一步接一步,中间不回头。这种做法听起来很规整,但有个隐患,如果一段很长的录像一次性塞进AI的"脑子"里,信息量太大,AI会消化不良;但如果只挑一小部分来看,又可能漏掉关键细节,而这个细节往往要等到后面才会发现自己需要它。

这就好比你去宜家买家具,说明书要求你严格按步骤123装,但现实是你装到第8步才发现第3步那个螺丝其实该用另一种型号,这时候你肯定想翻回去重新看说明书,而不是硬着头皮把错误的螺丝继续拧进去。固定顺序的流水线,恰恰剥夺了这种"回头检查"的自由。

Work2Skill给出的方案是让AI自己决定什么时候该翻回去看什么证据,而不是被死板的顺序捆住手脚。

### 三大组件如何协同工作

整个Work2Skill框架由三部分组成,环环相扣。

第一部分是WorkRecorder,负责把人的操作过程完整录下来。它不只是录屏幕画面,还同步记录鼠标键盘的每一次动作、操作系统能提供的无障碍树信息,甚至连点击前后界面怎么变化都对齐在同一条时间线上。

> 关键帧(Keyframe):录制过程中,系统不是无脑地每秒截一张图,而是根据鼠标点击、拖拽完成、滚动停止、输入提交等"有意义的时刻"智能挑选截图时间点,这样既能抓住关键信息,又不会产生海量冗余画面。

这里有个细节挺值得说的,WorkRecorder在macOS上本地录制时,靠苹果自带的辅助功能接口拿界面信息;但如果操作的是远程的Linux桌面,就得换一套叫AT-SPI的协议来抓取界面元素的名字和位置。这意味着整套系统专门为"远程操作"这种常见工作场景做了适配,不是实验室里拍脑袋的简化版本。

第二部分是WorkDemo-350,350段经过严格筛选的人类操作演示,覆盖MyPCBench的64个任务和OSWorld-Verified的286个任务。这里面有个容易被忽略但很重要的做法,研究者不是把所有录好的视频都收进来,而是经过了严格的质量把关,凡是演示不完整、漏了关键步骤、或者最后状态不对的,统统被筛掉了。

换句话说,这不是"随便录一堆素材凑数",而是像老师批改作业一样,只留下真正做对了的那些范本。整套数据集累计录了大约8.48小时的真人操作经验。

第三部分是整篇论文最核心的创新,一个"按需翻证据"的智能体技能提炼方法。

这个智能体拿到一段演示录像后,不是机械地从头看到尾,而是像一个经验丰富的侦探翻案卷一样,带着问题去查证据。它先读任务说明,搞清楚目标是什么;然后用文件工具翻看操作记录、界面元素清单;碰到看不懂的点击动作,就调出对应时刻的截图看个究竟;如果截图还不够,就去视频里截取前后几秒钟的画面做对比确认。

> 工具调用(Tool Calling):这里指的是AI智能体可以主动调用一系列功能接口,比如"列出文件目录""读取某张图片""截取视频某一秒的画面",通过这种方式,它能像人一样去主动探索证据,而不是被动接受一整包打包好的信息。

这个过程里有个很关键的设计,写技能文档和查证据是同一场对话里发生的事情,不是先查完所有证据再写,而是写着写着发现有漏洞,立刻回头再查,查完接着改。

这就好比你写一篇需要引用资料的文章,如果你规定自己必须先把全部参考文献读完才能动笔写第一个字,效率会很低,而且你读到最后可能已经忘了前面哪条资料对应哪个论点。更合理的做法是,写到某处发现论据不够,立刻去查,查到了接着写,这样才不会陷入"要么信息过载,要么信息不足"的两难。

技能提炼完成之后,系统会生成一份叫SKILL.md的文档,相当于把演示里学到的操作经验,写成了一份可以反复使用的"操作手册"。

这份手册有一个核心原则,要把演示里具体的数字、日期、人名这些"这一次任务特有的东西"剥离出去,只保留背后那套通用的规则、步骤之间的依赖关系,以及怎么判断任务是不是真的完成了。

举个例子,如果演示里的任务是把某张表格的某个单元格改成450,写进技能文档的不会是"把B3格改成450",而是"找到对应的预算单元格,输入任务要求的金额,然后保存"。这样下次换成改成680,或者改的是另一个单元格,这份技能依然能用。

### 效果到底怎么样:四个数字告诉你答案

说了这么多设计思路,到底管不管用,数据最诚实。

研究团队用了四个不同的执行模型,GPT-5.5、Opus-4.8、Qwen3.5-35B-A3B和Qwen3.5-9B,分别测试在没有任何技能指导、用ShowUI-Aloha提炼的指导、用Demo2Tutorial提炼的指导、以及用Work2Skill提炼的指导这四种条件下,完成同一批任务的表现。

| 方法 | GPT-5.5得分 | GPT-5.5成功率 | Opus-4.8得分 | Opus-4.8成功率 |

|---|---|---|---|---|

| 无技能指导 | 74.73 | 23.44% | 81.53 | 42.19% |

| ShowUI-Aloha | 77.48 | 37.50% | 79.27 | 34.38% |

| Demo2Tutorial | 75.25 | 37.50% | 81.28 | 42.19% |

| **Work2Skill** | **85.27** | **48.44%** | **86.20** | **50.00%** |

（数据来自MyPCBench任务集,共64个任务,得分范围0到100）

这张表最值得注意的地方是,Work2Skill在所有测试条件下都拿到了最高分和最高成功率,没有一次例外。拿GPT-5.5来说,完全没有技能指导时,只有不到四分之一的任务能做到满分,给了Work2Skill提炼的技能指导后,这个比例直接翻了一倍还多,接近一半的任务能完美完成。

在OSWorld-Verified这个覆盖更广泛计算机操作任务的测试集上,结果也类似,Work2Skill相比完全没有指导的基线,平均得分提升了3.11到7.50分不等,根据具体用的是哪个执行模型而有所不同。

### 换个任务,技能还能用吗

这里有个很现实的问题,如果任务稍微变一变,比如订机票的目的地从JFK机场换成了PHL机场,之前提炼的技能文档还有用吗?

如果答案是否定的,那这整套方法的实用价值就要大打折扣了,因为现实世界里的任务从来不会完全重复。

研究者专门设计了一个叫MyPCBench Jitter的测试,给原来的64个任务各配了一个"变种版本",改了具体的目标对象、数字参数或者约束条件,但应用场景和操作逻辑不变。关键是,这些变种任务用的技能文档,完全是原任务提炼出来的那份,没有重新训练或调整。

结果是,Work2Skill提炼的技能在这种"变种考验"下依然管用,相比无指导基线,平均得分提升3.93到8.64分,成功率提升6.25到9.38个百分点。

这就好比一个老司机不是死记硬背某条特定路线,而是真正学会了"怎么开车"这件事,换一条路照样能开好。如果技能文档里塞满的是这次任务独有的死板坐标和具体数值,换个任务立刻失灵,那它学到的就不是真正的驾驶能力,只是背下了一条路线图。

### 技能能不能跨模型迁移

还有一个有意思的测试,用GPT-5.5提炼出来的技能文档,拿给Qwen3.5-9B去执行,会发生什么?

结果显示,用GPT-5.5提炼的技能,不管是GPT-5.5自己执行还是换成Qwen3.5-9B执行,效果都比用Qwen3.5-9B自己提炼的技能要好。但即便是"降级"用在能力相对弱一些的模型上,相比完全没有技能指导,依然有明显提升。

这说明技能文档本身承载的是一种相对独立的、可以脱离具体模型存在的经验,有点像一本写得好的菜谱,不管是米其林大厨照着做,还是刚学做饭的新手照着做,都比完全不看菜谱瞎炒要强,虽然最终成品质量肯定还是厨艺更高的人做得更好。

### 证据越多越好吗:一个反直觉但合理的发现

论文还做了一组对照实验,专门测试"去掉某种证据会发生什么"。

把带标注的关键截图去掉之后,得分从85.27掉到74.64,成功率从48.44%掉到32.81%,这是所有消融条件里跌幅最大的几项之一。把录制时同步记录的输入日志去掉后,成功率的跌幅同样惊人,从48.44%掉到26.56%,接近腰斩。

这组数字背后有个朴素的道理,多模态证据,也就是图像、视频、文字记录这些不同类型的信息放在一起互相印证,确实比单一类型的信息更能支撑准确的技能提炼。

但另一个发现更有意思,如果只给纯文字描述,结合界面元素的语义信息(比如"点击了名为搜索的按钮"),这种精简版本的表现居然比单纯看视频要好,虽然两者都比不上全套证据齐全的版本。

这说明一件事,信息的质量比数量更重要。一段没有标注的原始视频,信息密度其实很低,AI得花大量力气去猜测每个动作背后的语义;而经过AX树标注的文字描述,虽然看起来"信息量"少,但每一条都是直接命中要害的高质量信息。

这就好比你让两个人分别通过两种方式了解一场足球比赛,一个人拿到的是一份详细的文字战报,写清楚"第30分钟,10号球员带球突破到禁区,射门偏出",另一个人拿到的是全程无解说的裸比赛录像。文字战报信息看起来少,但每句话都精准;裸录像信息量大,但看的人得自己费力去判断"刚才这脚算不算射门"。前者效率往往更高。

### 固定流程和自由探索,哪个更好

论文还比较了两种不同的提炼指令写法。一种是Work2Skill默认用的,比较简洁,只规定大的边界,把具体怎么查证据、什么时候查、查多细这些细节都交给AI自己决定。另一种叫Pipeline Prompt,详细规定了查证据的先后顺序和每一步该做什么。

两种写法用的模型、证据、工具全部一样,只换了这一份系统提示词。结果是,自由探索的版本得分85.27,固定流程的版本得分81.30,自由探索版本领先将近4分,成功率上领先6.25个百分点。代价是,自由探索版本消耗的计算资源(体现在提炼过程用的token数量上)多了大约12.7%。

这组对比印证了前面提到的那个装家具的比喻,严格规定好顺序的流程看起来更规整、更可控,但它牺牲了"发现问题就回头检查"这种灵活性,最终反而不如放手让AI自己判断探索顺序来得有效。多花一点计算成本,换来更准确的理解,这笔账,从结果上看是划算的。

### 一个具体案例:当技能文档真正显出价值

论文里有个案例特别能说明问题。任务是通过一个叫TableFind的订餐软件,给十个人订一家叫Cotogna的餐厅,还要求查看三家备选餐厅并收藏其中最好的两家,最后确认订单时附上一句备注。

这个任务看起来简单,但暗藏好几层依赖关系,日期和人数信息要在主订单和备选查询之间保持一致,备选餐厅不能和主餐厅重复,收藏要按照某种排序规则来选前两名,而且最终确认订单这一步,必须等前面所有步骤都做完才能进行。

用ShowUI-Aloha和Demo2Tutorial提炼的指导去执行,AI完成了主订单的预订和备注,拿到了确认号,最终也核对了预订信息,看起来似乎做得不错。但评分结果只有55分(满分100),因为它压根没有完整走完"查看三家备选、逐一查看详情页、收藏前两名"这一整套流程,也没有在刷新页面后二次确认订单依然存在。

用Work2Skill提炼的技能文档去执行,这几项全部做到了,拿到满分100分。

差别在哪里?答案就藏在技能文档的具体措辞里。这份文档明确写着,导航过程中要重新检查可能被重置的字段,备选餐厅名单要主动排除掉主餐厅本身,确认订单这一步要推迟到备选流程全部做完之后再进行,最后还要分别核实订单状态和收藏状态这两件事。

这些要求,正是前面提炼技能时反复强调的"保留依赖关系、保留完成检查"这条原则在具体任务上的体现。

### 写在后面

读完这篇论文,我一直在想一件事,这套方法本质上是在回答一个很朴素的问题,经验到底是怎么从一个人身上转移到另一个系统身上的。

我们平时说"老师傅带徒弟",靠的从来不是把操作手册打印出来让徒弟背,而是徒弟站在旁边看,看多了慢慢悟出里面哪些是死规矩、哪些是灵活处理的空间。这篇论文做的事情,某种程度上是在尝试用技术手段,把这个"悟"的过程给结构化出来。

有一个细节我觉得特别值得单独拎出来说,finalize_extraction这个验证环节,它只检查输出的格式对不对、该调用的工具有没有调用,完全不检查技能文档写得对不对、能不能真正帮AI完成任务。换句话说,这套系统有一套严格的"交卷检查",但这个检查和"卷子答得好不好"是两件事。

这其实挺诚实的,因为"写得对不对"这件事,目前没有办法在提炼阶段就验证,只能等拿去真正执行一遍才知道。这篇论文坦然承认了这个局限,没有假装自己解决了所有问题。

另一个让我多想了一下的地方是跨模型迁移那组实验。技能文档能在不同能力的模型之间迁移,这件事其实在暗示,"怎么做一件事"这个知识,和"谁来做这件事"是可以分开的。这好像也呼应了我们生活里的常识,一份写得好的说明书,哪怕是新手拿着看,也比完全没有说明书要强得多,虽然大厨照着同一份说明书做出来的味道肯定更好。

技能文档能不能反过来帮AI变得更聪明,而不只是帮它完成具体任务,这是个我没在论文里看到答案、但很想继续追问下去的问题。

Q&A

Q1：Work2Skill是什么?

A：Work2Skill是一套让AI从人类操作电脑的录像中提炼可复用操作技能的框架,包含录制工具WorkRecorder、数据集WorkDemo-350和一个按需查证据的智能提炼方法,目的是让AI学会人类在特定软件或流程里积累的实际经验。

Q2：Work2Skill提炼出的技能换个任务还能用吗?

A：论文专门测试了这一点,把同一份技能文档用在改了具体数字、目标或约束条件的变种任务上,结果显示得分和成功率依然比完全没有技能指导要高,说明提炼出的是通用操作逻辑,而不是死记硬背的具体步骤。

Q3：Work2Skill和之前的ShowUI-Aloha、Demo2Tutorial这些方法比怎么样?

A：在四个不同执行模型和两套基准测试上,Work2Skill的得分和任务成功率都全面超过了这两种方法,平均得分在MyPCBench上提升了4.67到10.54分,在OSWorld-Verified上提升了3.11到7.50分。