当工具成了视频里的隐形主角，AI却总是看不见它

你有没有试过，让一个AI看一段做饭视频，然后问它"刚才那个人用的是什么工具"？

大概率它会告诉你"人在厨房里忙碌"，但具体是用菜刀还是剪刀切的，它说不清楚。再问得深一点，"为什么要从剪刀换成菜刀"，它基本就哑火了。

这不是AI偷懒，而是它们从来没被好好教过这件事。

**一、一个被忽略了很久的问题**

现在的视频理解AI，在很多测试上表现得相当亮眼。给它一段日常视频，让它描述"有人在做早餐"或者"有人在修东西"，它答得头头是道。

但如果你翻开市面上那些著名的第一视角视频数据集，比如EPIC-KITCHENS、Ego4D、Assembly101这些，你会发现一个共同的毛病：工具在这些数据里几乎是透明的。

视频描述往往停留在"炒鸡蛋"这个动作层面，锅铲和平底锅虽然全程在画面里晃悠,却从来没被单独提起过。这就好比你雇了一个翻译,他能准确转述"厨师在做菜",却完全没注意到厨师手里拿的是中式炒勺还是西式煎铲,更别说解释厨师为什么要换一把铲子。

这篇来自新加坡南洋理工大学S-Lab团队的论文,把这个问题摆上了台面。他们提出了一套叫EgoTools的资源体系,专门盯着"人怎么用工具做事"这件事,想看看AI到底懂不懂。

论文里给出了一组很扎心的数字。拿表现最好的开源模型Qwen3-VL-8B-Instruct来说,它在EgoSchema这类常规第一视角视频理解测试上能拿到69%的分数,听起来不错。可一旦换到专门考察工具使用理解的EgoTools-Bench测试集上,同一个模型的分数直接掉到50%。

**这不是模型变笨了,而是测试题目变了,它暴露的是模型原本就没学会的东西。**

就连谷歌最强的闭源模型Gemini-3.1-Pro,整体准确率也只有66.9%,在专门考察"认出是什么工具、工具碰到了什么东西"这类基础感知题目上,更是只拿到51.7%。作为对比,人类专家在同样的测试上能做到83.2%。

这中间差了十几到三十个百分点,意味着什么?意味着每做五道题,AI就要比人类多错一到两道,而且错的还往往是"这是什么工具"这种看起来最基础的问题。

**二、为什么偏偏是"工具"这件事这么难**

要理解这个难点,得先弄明白工具使用到底涉及几层信息。

你拿起一把螺丝刀拧螺丝,这个动作背后至少包含四件事:螺丝刀为什么是这把而不是扳手(这叫功能可供性和意图判断)、螺丝刀和螺丝之间的空间关系(这叫几何接触关系)、这是整个维修流程的第几步(这叫程序进度)、拧完之后螺丝的状态发生了什么变化(这叫因果效果)。

这四件事缠在一起,任何一个单独拎出来都不简单,合在一起对AI来说就是一道组合题。

论文作者把这种理解拆成了四个考察方向,后面会细说。这里先说一个更根本的问题：第一视角视频,也就是以佩戴者眼睛为视角拍摄的视频,天然就是研究这件事的最佳素材。

第一视角*：也叫egocentric视角,摄像头架在人的头部,拍出来的画面就是人眼看到的样子,手、工具、被操作的物体全都自然地出现在视野中心。

因为是第一视角,手和工具永远在画面焦点,这是第三人称视角很难做到的。但问题是,现有的第一视角数据集虽然量很大,比如Ego4D有3670小时视频,却很少专门针对工具做密集标注。数据量大不等于有用的监督信号多,这是这篇论文想解决的核心矛盾。

就像你有一整座图书馆,但如果书架上全是没有分类标签的书,你想找"关于螺丝刀使用技巧"的那几本,照样大海捞针。如果不专门做这件事,即便视频素材再多,模型也学不到工具中心的推理能力。

**三、EgoTools到底装了什么**

这套资源体系分成两部分,一部分叫EgoTools-Data,负责"喂"给模型学习材料;另一部分叫EgoTools-Bench,专门用来"考"模型。

先说数据部分。团队用一种叫HOMIE的轻量头戴式多模态录制设备,拍摄了100小时的真实场景视频,覆盖厨房、教室、科研实验室、维修工坊、手工艺、办公室、家居这七个场景。

这个覆盖面有讲究。日常做饭用剪刀菜刀是一回事,实验室里用移液枪转移液体样本,维修工坊里松螺丝,这些专业程度不同的工具使用场景,对AI的要求完全不一样。论文特意强调,涉及专业知识的拍摄(比如湿实验室操作)是由懂行的人员完成或审核的,保证工具使用既自然又技术上站得住脚。

数据采集用了两种方式,一种是结构化任务引导,团队先给定任务目标和关键步骤,让参与者自然完成,这样能保证清晰的任务边界和可观察的状态变化;另一种是开放式参与者驱动,只给一个大方向,剩下全靠参与者自己发挥,这样能捕捉到真实世界里的工具替代、犯错重来这些自发行为。

这两种方式配合起来,前者像是给了剧本但不限制演技,后者则完全即兴。这个设计本身就在回应一个矛盾:太结构化的数据训练出来的模型可能只会套路,太随意的数据又很难拿来做基准测试。

数据标注做得相当细。团队用Gemini-3-Flash生成分层级的密集描述,从5秒钟的片段标题,聚合到1分钟的窗口描述,再汇总成5分钟的摘要,层层递进,保证时间上的连贯性。

更关键的是另一种标注,叫工具中心叙述。

**工具中心叙述**：这是论文的核心创新之一,由实际完成任务的参与者本人,用一个固定模板描述自己为什么选了这把工具而不是那把,目标是什么,对被操作物体产生了什么影响。

举个论文里的真实例子:"我用窄口筷子而不是勺子去够罐子里的果酱,因为勺子太宽进不去瓶口。"这种叙述不是旁观者猜测,而是动作执行者本人的真实意图陈述,这种一手资料的价值,比事后让AI或者标注者去猜测动机要可靠得多。

如果没有这种第一人称叙述,数据里只有"拿起筷子"这个动作标签,AI永远学不到"选筷子是因为瓶口窄"这种因果推理能力。这就像你看一段监控录像,只能看到一个人拿起了某样东西,但永远不知道他心里在想什么,除非他自己说出来。

除了文字标注,团队还做了3D标注。他们用一种叫3D高斯溅射的技术重建场景几何结构,再结合SAM2分割模型和视觉语言模型做递归式的物体追踪,最终把追踪到的工具轨迹提升到三维空间,生成空间问答题。

**四、考试卷子长什么样**

光有教材不够,还得有一套靠谱的考卷,这就是EgoTools-Bench。

这套测试集总共1000道题,全部是8选1的选择题,随机蒙对的概率是12.5%。题目分成四个大类。

第一类叫可供性与因果性,占363题,考的是"为什么选这个工具、它能做什么、动作建立了什么前提条件、产生了什么后果"这种目的性推理。

第二类叫感知与定位,占236题,考的是最基础的"这是什么工具、碰到了什么物体、状态发生了什么变化、数量多少"这种直接可观察的事实。

第三类叫程序动态,占222题,考的是"动作先后顺序、步骤转换、工作台如何布置、精细操作怎么完成"这种随时间展开的组织逻辑。

第四类叫空间推理,占179题,考的是手、工具、物体之间的位置、对齐、包含、支撑、接触、深度这些几何关系。

这四类题目听起来分类清楚,但实际做起来互相牵扯。比如你要判断"为什么换了工具",既要看清楚当下工具和目标物体的空间关系(第四类的能力),又要理解时间线上发生了什么导致了这次切换(第三类的能力),最后才能推出因果逻辑(第一类)。

这套题目的构建过程也值得说一下。900道由真人数据采集员和外部标注员手工编写,标注员要专门找出那些"视觉上能推断出来,但对模型有挑战性"的推理点,另外100道空间题则是从3D标注里自动生成后再经过人工核实的。

质量把控方面,团队做了一次独立可靠性研究,找了五个没参与原始出题的标注员重新评估250道题,结果和原答案的一致性达到89.8%,两个独立标注员之间的一致性是88.4%。这个数字说明题目本身的客观性比较扎实,不是那种模棱两可随便谁答都算对的烂题。

**五、AI到底差在哪儿**

拿到这套考卷之后,论文团队让各路模型都来做了一遍,结果挺有意思。

闭源模型里Gemini-3.1-Pro拿下66.9%的总分,是表现最好的,但细看分项成绩会发现一个规律:它在可供性因果性题目上拿69.7%,程序动态72.1%,空间推理74.9%,唯独感知与定位这一类只有51.7%。

这个落差非常反常。按理说"认出这是什么工具"应该是最简单的任务,比"推断为什么要换工具"简单多了,结果却成了所有模型的集体短板。

论文给出的解释是,感知与定位这类题目特别依赖具体的视觉证据,活动背景信息帮不上忙。你知道整个场景是"在修自行车",但这解决不了"刚才那个具体画面里手上拿的到底是内六角扳手还是十字螺丝刀"这种精细问题。

开源模型这边更惨,整体分数在38.9%到50.0%之间晃荡,远低于人类专家的83.2%。即便是表现最好的几个,互相之间的差距也不大,说明这不是某一家模型架构的问题,而是整个领域的通病。

团队还做了一系列很扎实的消融实验,来验证这套测试到底有没有真的考到"看视频"这个能力,而不是让AI靠蒙题技巧蒙对答案。

他们对比了四种输入条件:按时间顺序排列的64帧画面、把这64帧打乱顺序、只给一帧画面、完全不给画面只给文字。结果有序视频拿到51.7%,纯文字输入只有42.7%,中间差了9个百分点。

这个差距证明了一件事:题目确实需要看视频才能做对,不是靠语言常识或者选项规律就能蒙混过关的。但反过来说,纯文字输入居然还能拿到42.7%,远超12.5%的随机水平,这也暴露出测试集里还残留了一些可以靠常识推断的题目,不是百分之百需要视觉证据。

更细致地看,只给一帧画面时准确率掉到46.9%,比完整视频低了4.8个百分点,这个差距在空间推理题目上尤其明显,差了11.9个百分点。这说明空间关系的判断往往需要综合多个时刻的画面信息,单看一帧很容易误判物体之间的相对位置。

打乱帧顺序则让准确率从51.7%降到49.3%,差距2.4个百分点,其中程序动态题目最敏感,相差3.2个百分点。这很好理解,这类题目本来就是在考"先后顺序",你把顺序打乱了,这类题目自然答不准。

**这组实验等于是给了测试集一份体检报告,四个类别各自对不同类型的视觉证据敏感,恰好印证了它们原本设计的考察方向是站得住脚的。**

**六、教会AI用工具,到底管不管用**

发现问题之后,论文更进一步做了一件事:验证这套训练数据到底有没有实际的教学效果,而不只是用来出题考试的素材库。

团队把EgoTools-Data里不参与基准测试的那部分,也就是训练池,转换成了184679条指令微调样本,然后在Qwen3-VL-8B-Instruct这个模型上做了一轮全参数监督微调。

这里有个关键的实验设计,叫源视频级别隔离。

训练用的视频和测试用的视频,在源头上就被完全分开了,没有一帧画面是重复的。这个操作听起来理所当然,但实际上很多论文在这个环节会偷懒,导致模型测试成绩好看其实是因为"背过题"而不是真的学会了。

微调之后的模型,被团队命名为EgoTools-8B,拿到EgoTools-Bench上重新测试,结果从50.0%直接跳到60.9%,提升了10.9个百分点。

这个提升幅度相当可观,相当于原本平均每两道题错一道,现在变成平均每三道题才错一道多一点。而且提升是全面的,四个类别里有三个都在涨:可供性因果性涨了9.3个百分点,感知定位涨了13.8个百分点,程序动态涨了11.0个百分点。

但空间推理这一项,反而掉了11.0个百分点。

这个意外结果值得多想一层。训练数据里明明专门准备了17887条空间推理相关的样本,占了将近10%的比重,为什么反而学退步了?

论文没有给出确切解释,只是坦承这是当前训练方案的一个局限。我自己琢磨,可能的原因是空间推理依赖的3D几何信息,和文本监督信号之间的转换本身就损耗很大,靠文字描述空间关系这件事,天然就比描述"为什么换工具"这种因果逻辑要难得多。

就像你让一个盲人摸着模型学习建筑结构,他能通过触摸学会"这里有个支撑柱、那里有个拐角",但要他准确说出"这根梁相对于那根柱子偏移了多少度",光靠语言描述传递的信息量就是不够的,除非真正给他可操作的空间感知手段。

论文团队同时也测了EgoTools-8B在其他现成的第一视角测试集上的表现,结果很能说明问题。在EgoSchema上,微调后的模型反而比原版低了1.4个百分点;在EgoPlan-Bench上更是低了7.1个百分点;只有在EgoThink上涨了3.0个百分点。

这组对照数据传递了一个很诚实的信号:**这份训练数据提升的是工具中心推理能力,不是万能灵药,不能指望它让模型在所有第一视角任务上都变强。**

这种坦白其实挺难得。很多论文为了显得方法更厉害,会选择性展示有利的对比数据,这篇论文把不利的结果也摆出来了,说明团队对自己工作的边界有清醒认识。

**七、错误分析里藏着的线索**

论文还做了一个挺细致的分析,叫隐式与显式工具使用问题对比。

**隐式问题**：题目本身没有直接点名相关工具,模型必须自己从视频画面里推断出关键信息才能作答;**显式问题**：则是题干里已经明确提到了相关的工具名称或线索。

结果显示,几乎所有模型在显式问题上的表现都明显好于隐式问题,差距在4到8个百分点之间。这个现象说明,当题目把关键信息直接点出来时,模型更多是在做语言层面的匹配,而真正需要从画面里"看出来"的能力,恰恰是它们的弱项。

唯一的例外是Qwen3-VL-8B-Thinking这个带推理链的版本,它在两类题目上的表现几乎持平,甚至隐式题略好一点点。这个反常结果有点意思,或许说明加了显式推理步骤的模型,反而不那么依赖题干里的文字提示,更愿意老老实实去看画面。不过这只是一个样本的孤证,不能过度解读。

团队还画了一张模型间错误重叠度的热力图,用的是Jaccard相似度这个指标来衡量两个模型答错的题目有多大比例是重合的。

结果发现同系列模型内部错误重叠度最高,比如Qwen3-VL-8B的指令版本和思考版本之间重叠度达到0.63,说明它们继承了相似的知识盲区。而不同家族的模型之间,比如Gemini系列和Qwen系列,重叠度就低不少,在0.35到0.50之间浮动。

这个发现暗示了一件事:不同训练路线的模型,犯的错误有一定互补性,这对未来做模型融合或者集成评估,可能是个有价值的线索。

**延伸到更远一点的地方**

这篇论文让我想起一个更大的问题:我们现在评价AI"懂不懂"一件事,标准到底该定在哪里。

过去评价视频理解模型,很大程度上是看它能不能准确描述"发生了什么",也就是动作识别。但这篇论文提醒我们,**知道"发生了什么"和理解"为什么这样发生、接下来会怎样"之间,隔着一道很深的沟。**

这道沟在工具使用这个场景里格外明显,因为工具的选择本身就是一种隐藏的决策过程,体现了使用者对材料、任务、物理约束的综合判断。一个AI如果只会描述"手拿起了螺丝刀",却说不出"为什么是螺丝刀而不是扳手",它其实并没有真正理解这个场景,只是在做表层的物体识别。

论文里那组数据让我印象很深:感知与定位类题目,所有模型普遍表现最差,但这恰恰是看起来"最简单"的一类问题。这说明AI在视频理解上存在一种系统性的偏差,擅长用语言常识去编故事,却不擅长扎扎实实地盯住画面里的细节。这有点像人在考试时,遇到需要死记硬背具体细节的题目反而比推理题答得差,因为推理题可以靠套路蒙,细节题蒙不了。

这篇论文还有一个没有明说但值得追问的问题:如果空间推理能力无法通过现有的文本中心训练方案提升,那是不是意味着我们需要一套完全不同的监督信号,比如直接用3D几何数据做端到端训练,而不是把空间关系先翻译成文字再喂给模型?这条路径目前的论文没有探索,但这恰恰是个很有想象空间的方向。

Q&A

Q1：EgoTools-Bench是什么?

A：EgoTools-Bench是一个专门考察AI理解第一视角视频中工具使用情况的测试集,包含1000道8选1选择题,分为可供性与因果性、感知与定位、程序动态、空间推理四大类,用来诊断AI模型在工具中心推理上的具体弱点。

Q2：为什么AI在工具使用理解上表现这么差?

A：现有视频理解模型大多靠语言常识和活动背景推测答案,缺乏对具体视觉证据的精确把握。论文实验显示,表现最好的Gemini-3.1-Pro整体准确率66.9%,但在最基础的"认出工具、物体状态变化"这类题目上只有51.7%,远低于人类专家83.2%的水平。

Q3：用EgoTools-Data训练模型真的有效果吗?

A：有明显效果。团队用这份数据对Qwen3-VL-8B-Instruct做了全参数微调,测试集准确率从50.0%提升到60.9%,其中三个类别都有提升,但空间推理反而下降了11个百分点,说明这套训练方案还不能解决所有问题。