机器人看了几千段视频，却学不会"这是同一个动作"

你有没有观察过小孩子学东西的样子。他们看大人擦桌子、擦玻璃、擦盘子，看过几次之后，就会知道这三件事其实是同一种本领，叫"擦"。东西不同，场地不同，但那个动作的核心逻辑是一样的。这个能力听起来简单，但现在最先进的AI模型，在这件事上几乎是失败的。

这正是一组来自西北大学、卡内基梅隆大学等机构的研究者最近做的一件事:他们专门设计了一个测试，让19个主流的视觉语言模型，去做这件在人类孩子身上司空见惯的事情，结果大部分模型的表现跟瞎猜差不多。

这件事情本身就值得多想一步。我们已经习惯了AI模型描述视频里发生了什么,"这个人拿起了锅盖"、"这个人把布放到了架子上"，这些事情目前的模型做得相当不错。但是把一连串的事情看下来，归纳出"拿锅盖"和"拿布"其实是同一种技能，这个能力几乎没人认真测过。这篇论文把这件事情摆到了台面上。

核心问题:看完会描述，不代表会归纳

这篇论文的英文标题叫Video2Skill，研究的问题被称作流式具身技能发现

*流式具身技能发现：模型按时间顺序持续观看视频，并在观看过程中维护一个会不断更新的技能清单，这个清单又会影响它之后看到新视频时的判断。*

要理解这件事的难度，得先说清楚机器人要解决的根本矛盾是什么。机器人想要在没见过的新任务上也能顺利完成，一个常见的思路是让它学会一批"可复用的技能"，比如抓取、搬运、放置，然后遇到新任务时，像搭积木一样把这些技能组合起来，而不是每次都从零学一遍。这个思路本身没问题，问题是:机器人要先知道有哪些技能存在，才能去组合它们。

于是就有了一个倒过来的问题:能不能让机器人自己观察一堆操作视频，自己总结出这些技能库，而不是靠人提前标注好?这就跟人通过观察别人干活来学本领是一个道理。

在这篇论文出现之前，相关的工作大多绕开了这个问题的核心难点。有的系统是直接给机器人一套写好的技能清单，机器人只管调用,这就像给新员工一本标准作业手册，他不需要自己总结规律，只需要照着做。还有的系统靠反复试错和环境反馈来积累技能，机器人做错了会得到惩罚信号，这更像是通过"摸着石头过河"学会游泳，疼了就知道要调整姿势。但这篇论文问的是另一件事:如果机器人只能被动地看视频，没有试错机会，也没有人喂它写好的技能清单，它能不能自己从观察中理出这些技能的头绪?

这个设定逼近了一个更原始也更难的场景:机器人就是一个坐在监控室里看录像的学徒，它不能动手试，只能靠眼睛看、靠脑子归纳。

这件事到底难在哪

研究者设计的测试任务，拆解开来其实是三件具体的事。

第一件事是在时间轴上找到动作发生的起止点，比如一段视频里，"抓起盖子"是从第0秒到第11秒，这个要先定位准。第二件事是把本质相同的动作归到一类，不管换了什么物体、什么场景，抓锅盖和抓布都要被认成"抓"这个技能，而不是因为换了个说法就被当成两种不同的东西。第三件事是遇到一个新动作的时候，要判断这到底是不是一个全新的技能，需要新建一个条目，还是说这其实是已经学过的技能换了个马甲。

这三件事叠在一起才是真正的难点。因为机器人维护的这个技能清单是不断累积的，前面判断错了，后面的判断会被连带带偏。这就好比你在整理一个共享文档，前面有人把"苹果"和"梨"错误地归并成了"水果A"，后面所有引用"水果A"的内容都会跟着出错，而且这个错误是滚雪球式的，越往后积累越难纠正。

为了系统地测试这件事，研究者用了两个数据来源:一个是HD-EPIC，收录的是人在厨房里做饭的第一视角长视频，动作密度很高，中位数每个动作只持续1.9秒;另一个是ROBOINTER，收录的是机器人在桌面上操作物体的视频，动作更舒缓，中位数持续4.5秒。两边加起来覆盖了四万多条验证过的动作标注，整理出48种标准化的"动作类别"作为参照答案，但模型自己是看不到这份参照答案的，它只能按自己的理解去起名字、去归类。

这里要强调一下论文发表时这个领域的真实水位。在这篇论文之前，视觉语言模型描述单个动作的能力已经相当成熟，各类基准测试里，顶尖模型在识别"这个人在干什么"上的表现已经逼近实用水准。但把这个能力推进到"持续观察并维护一个会演化的技能库"，几乎没有专门的测试去衡量过。这篇论文填的就是这个空白，而填补之后暴露出的结果相当刺眼:很多模型的分组准确度跟乱猜处于同一水平线。

两种处理方式，两种相反的病

研究者让19个开源视觉语言模型分别用两种工作方式去完成这个任务。

*统一式处理：模型一边看视频一边直接更新技能库，识别动作和归类决策是在同一次推理里完成的。*

*分解式处理：模型先把视频里的动作用文字描述出来，这一步看不到已有的技能库，然后再用同一个模型，单纯根据文字描述去决定要不要新建或复用技能。*

这两种方式听起来只是流程先后顺序的差别，但实验结果显示，它们会导向两种截然相反的错误类型。

统一式处理的模型普遍有一种"懒得分家"的倾向。它们倾向于把明明不一样的动作塞进同一个技能里，比如把"扔"和"放"都算成同一回事，因为两者的终点都是桌子。这种做法会让"复用已有技能"这件事的命中率很高，但代价是精确度被拉低,因为很多本该分开的动作被硬凑到了一起。

分解式处理的模型则反过来，它们更倾向于"喜新厌旧"。给它一个新的文字描述，它更容易觉得这是个新东西，所以创建新技能的命中率提升明显，但代价是遇到真正重复出现的动作，它却经常另起一个新名字，而不是识别出"这不就是刚才那个技能嘛"。论文里举了一个具体的例子:同一个Qwen3.5-2B模型，换成分解式处理之后，判断两个动作是否属于同一类别的精确度从9.2分跳到48.0分，但同时，衡量它有没有把本该归为一类的动作成功放到一起的"召回率"，却从53.8分暴跌到2.4分。创建新技能的命中率从9.1飙升到92.1，而复用已有技能的命中率从99.3一路滑到18.2。

这个现象可以类比成办公室里两种不同风格的档案管理员。一种管理员图省事，新文件来了先看看跟现有文件夹像不像，像就直接塞进去，不像也凑合塞进去，结果文件夹里什么都有，分类名存实亡。如果不这样设计流程，他要为每份文件单独判断分类逻辑，工作量会陡增，所以他选择了"宁可塞错，不要新建"的捷径。另一种管理员则相反，他对"分类标准"极度敏感，宁可为每份新文件单开一个文件夹，也不愿把它和旧文件混在一起，结果同一类文件被拆成了十几个重复的文件夹。如果不这样设计，他要承担把两份本质不同的文件误判为同类的风险，于是他选择了"宁可拆分，不要混淆"的另一个极端。两种管理员都没有解决真正的问题，他们只是把错误从一种类型换成了另一种类型。

更让人意外的是，把模型从小做大并不能稳定解决这个问题。统一式处理下的Qwen3.5系列,参数从4B提升到27B,衡量分类质量的调整兰德指数(一种剔除了随机碰撞因素之后衡量分组准确性的统计指标)在HD-EPIC数据集上从8.7提升到19.9，看起来是进步了，但在ROBOINTER数据集上，同样的模型放大之后，这个指标反而从19.4跌到了4.6。

*调整兰德指数：一种统计学指标，用来衡量两种分组方式有多相似，并且会把纯粹靠运气碰对的部分刨除掉，数值越高说明分组越准。*

模型越大，不代表它在这件事上越聪明，这个结论本身是反直觉的。我们习惯性地认为参数规模是解决几乎所有问题的万能钥匙，但在"维护一个持续演化的技能库"这件具体事情上，论文用具体数字说明了规模堆砌带来的收益并不稳定，有时甚至是反向的。

教它学，能学多少

既然现成的模型表现不理想，研究者接着问:能不能通过专门训练来改善这个问题?他们挑了两个基础模型Qwen3.5-4B和LLaVA-OneVision-2-8B，设计了三种训练策略。

第一种叫按参照历史训练，做法很直接:把标注好的正确答案按时间顺序重放一遍，每一步都让模型在"正确的历史记录"背景下学习该怎么判断。这就像给学徒一本完全正确的操作日志，让他照着日志的节奏反复练习。

第二种是这篇论文自己提出的新方法，叫反事实技能库状态再平衡，缩写CLARE。

*反事实技能库状态再平衡（CLARE）：在训练时故意修改技能库的状态，比如故意删掉一个本该存在的技能条目，逼着模型在"技能库不完整"的情况下学会正确判断该创建新技能还是复用旧技能。*

这个设计的巧妙之处在于，它不只是让模型背答案，而是故意制造一些"刁难"的场景。比如故意把某个必需的技能从库里拿掉，这时候正确答案就该变成"创建新技能"而不是"复用"，模型要学会在这种被篡改的情境下依然做出正确反应。这就像教新司机开车，不能只在风平浪静的路况下练习，还要故意设置一些突发状况,前车突然刹车、路上窜出个行人，让他在意外发生时依然知道该怎么反应。如果训练时只给他标准路况，他遇到真正的突发情况时大概率会手足无措，这正是CLARE想要避免的事。

第三种叫在线策略修正，做法是让模型自己先跑一遍训练视频，用它自己预测出来的技能库状态作为背景，再让一个更强的"老师模型"根据这个被学生自己搞乱的状态给出正确答案该是什么。这解决的是一个很现实的问题:模型在实际使用时面对的技能库，往往是它自己一步步攒出来的，可能早就偏离了标准答案，如果训练时只给它看完美无瑕的参照历史，它在真实场景里遇到自己制造的烂摊子时反而会无从下手。

这三种训练策略带来的效果都是正向的，调整兰德指数相比没训练过的模型都有提升。但接下来暴露的问题，才是整篇论文最值得琢磨的地方。

学会了合并，却学不会创新

训练之后，统一式处理的模型在"把同类动作正确归并"这件事上确实变强了。以Qwen3.5-4B为例，经过按参照历史训练之后，在ROBOINTER数据集上，衡量分组精确度的指标从36.7跳到了67.6，这说明模型不再像以前那样把不同的动作瞎凑一堆了。

但是，与此同时，一个更深的问题浮出水面了:**训练之后的模型变得极度"恋旧"**。

数据显示，训练后的统一式模型里，复用已有技能的命中率稳定在97到98.7这个高位，而创建新技能的命中率只有19.1到40。换句话说，面对绝大多数第一次出现的新动作，模型依然倾向于把它硬塞进已有的技能名下，而不是意识到这是个全新的东西。

这个发现让人想起一种很具体的生活场景:一个在同一家公司干了十年的老员工，面对任何新任务，第一反应永远是"这个跟我以前做过的某个项目差不多"，哪怕这次任务的核心逻辑完全不同。如果没有经过专门的刻意训练，他的大脑会自动走捷径，用熟悉的框架去套陌生的问题，省心是省心了，但代价是真正的新事物永远得不到应有的识别和对待。

研究者还专门测试了一组更极端的情况:HD-EPIC数据集里有11种动作类别，一共59个具体片段，是训练数据里完全没出现过的新鲜事物，训练阶段模型压根没见过。结果显示，训练之后的模型在时间定位上表现不错，覆盖率达到57.6到66.1，说明模型确实"看到"了这些新动作发生的时间段。但在这些被成功定位的新动作里，模型给它们起一个全新技能名字的次数，十次里最多只有一次，很多情况下是零次。

这组数字值得多说一句。模型明明已经在时间轴上精确框出了这个新动作发生的区间，证明它"看见"了，但看见之后它依然选择把这个新东西塞进某个旧抽屉里，而不是给它开一个新抽屉。这说明一个更深的问题:定位能力和归类判断能力之间，存在一道没有被打通的鸿沟。看见新东西和认识到"这是新东西"，是两件不同的事。

研究者还做了一个挺有意思的追加实验，专门测试视频播放顺序会不会影响这件事。他们把同样的40段HD-EPIC视频，分别用三种不同的顺序喂给训练好的模型:一种是把新动作均匀分散在整个过程中，另一种是让新动作集中在开头全部冒出来。结果无论用哪种顺序，模型最终攒下来的技能库大小都稳定在21到22个，而参照答案里实际存在46个标准类别。哪怕是把所有新动作提前到前二十个视频里全部展示完,这种情况下模型本该有充足的机会去发现并记录每一个新东西,它最终也只新建了20个技能。

这个结果说明，让新东西出现得更早、更密集，并不会让模型变得更擅长发现新东西。问题不在于呈现的节奏，而在于模型本身缺乏一种判断力:它分不清楚眼前这个场景，到底是在考验它"记得多准"，还是在考验它"认得多新"。

写在后面

读到"训练后模型创建新技能的命中率只有19到40，而复用命中率稳定在97以上"这组数字的时候，我脑子里冒出来的第一个念头是:这跟很多组织里"经验主义"失灵的时刻几乎是同一个结构。一个人或者一套系统，一旦靠大量重复场景把判断模式固化下来，它在应对重复场景时会变得又快又准，但代价恰恰是对"这次真的不一样"这件事的感知力被钝化了，而且这种钝化是训练本身的副产品，不是训练不够导致的，是训练起了作用才导致的。这个因果关系有点反常识，一般人会觉得训练越多越聪明，但这篇论文的数据提示的是另一种可能:训练能让你在熟悉的框架里判断得更准，但不一定能让你更擅长意识到眼前的东西根本不该套进任何已有框架。

另外一个细节让我多想了一下，就是统一式处理和分解式处理这两种流程设计导致的失败方式几乎是镜像对称的,一个总是把不同的东西合并，一个总是把相同的东西拆开。这种对称性本身很说明问题:它暗示这两种错误背后未必是两个独立的毛病，而更可能是同一个底层能力缺失，在两种不同的信息处理路径下，表现出了两种不同的症状。就像同一种营养缺乏症，在不同体质的人身上会长出不同的皮疹。

论文里还有一处没有深挖但值得追问的地方:这些技能库目前描述的只是"观察到的物理变换"，论文作者自己在结尾也承认，这些技能对于真正指导机器人完成动作、变成可执行的控制指令，还需要进一步验证。换句话说，机器人现在学会了用语言给动作分类归档，但这份档案到底能不能真正指挥机械臂去抓东西、去完成任务，还是另一个尚未回答的问题。

一个机器人要是连什么时候该说"这个我没见过"都学不会，那它积累再多的经验，可能都只是在不断加厚一本写满重复条目的旧账本。

Q&A

Q1：Video2Skill是什么？

A：Video2Skill是西北大学、卡内基梅隆大学等机构联合提出的一个评测基准，用来测试视觉语言模型能不能从连续观看的视频里，自己总结归纳出一套可复用的操作技能库，而不是只会孤立描述单个动作。

Q2：为什么视觉语言模型在归类动作技能上表现不好？

A：实验发现，一边看视频一边更新技能库的模型容易把不同动作错误合并成一个技能，而先描述后归类的模型则容易把相同动作重复创建成多个技能，两种处理方式各有一种系统性的失败倾向，而且模型规模变大并不能稳定解决这个问题。

Q3：CLARE训练方法具体做了什么？

A：CLARE全称是反事实技能库状态再平衡，它在训练时故意修改技能库状态，比如删掉一个本该存在的技能条目，逼着模型在不完整或被扰动的技能库背景下，依然学会正确判断该创建新技能还是复用已有技能。