500小时的手和眼：当机器人终于学会"摸"东西的时候

你有没有想过，一个机器人要学会拧瓶盖，到底需要知道什么？

你可能会说，需要知道瓶盖的位置、形状、拧的方向。这些信息，一个摄像头全都能拍到。可是你再仔细想想拧瓶盖这个动作本身：手指要压多大力气瓶盖才不会打滑，什么时候该松手，哪个手指先接触瓶盖边缘。这些东西，摄像头一个都拍不到。

这就是过去几年机器人学习领域一个挺尴尬的事实。研究者们拿到了海量的人类活动视频，几千小时起步，里面什么样的手部动作都有，但这些视频记录的只是手怎么动，不是手摸到了什么、压了多大力。就像你看一段很清晰的揉面视频，能看清手揉了多少圈、往哪个方向推，但你永远感受不到面团的软硬和手上使的力气。而揉面这件事,恰恰是靠那股劲儿才能做对的。

这篇论文要解决的,就是这个长期被视觉数据集忽略的触觉空白。

**一、现有数据集差在哪**

先说一个让人意外的数字。目前学术界做视觉触觉联合学习的数据集，规模普遍不到30小时。

对比一下视觉领域的数据规模，像Ego4D这样的纯视频数据集已经做到了几千小时甚至两万小时以上。两边差了近百倍。这不是研究者偷懒，而是触觉传感器本身就比摄像头难搞得多：传感器要戴在手上，不能太厚不能太重，还得精确记录每个指尖压力的变化，这种硬件门槛天然限制了采集规模。

更麻烦的是另一个问题。即便你把现有的几个小规模触觉数据集拼起来凑够量，这个拼接动作本身就是个陷阱。

ActionSense数据集用的传感器布局和EgoTouch数据集完全不一样，taxel（也就是触觉传感器上的最小感应单元，相当于摄像头上的一个像素点）密度、采集协议、标注方式都不同。把它们混在一起训练模型,你根本分不清楚模型表现好是因为数据量变大了,还是因为某个数据集本身质量特别好。这就像你想测试"吃得多是不是能跑得快"，结果测试样本里有的人吃的是米饭有的人吃的是沙子，吃得多这件事本身就没法单独拿出来比较了。

如果继续用这种拼接数据集的方式往前走会怎样?答案是数据规模的效应永远说不清楚。你永远没法回答一个最基本的问题:触觉数据到底是不是越多越好?这正是这篇论文想要正面回答的问题。

**二、TouchScale：一套设备录到底**

论文团队的解法听起来简单，做起来却是个硬功夫活：用同一套穿戴设备，连续采集500小时数据，一次性覆盖足够多的场景和动作。

这套设备装备挺讲究。头戴一个Orbbec Gemini 345Lg立体RGB-D相机，这玩意儿不仅能拍彩色画面，还能测出场景里每个点的真实距离,相当于给整个场景做了个三维扫描。两只手腕上各挂了一个Intel RealSense D405相机，专门拍手跟物体接触的近景，弥补头戴相机因为角度问题拍不清楚的细节。重头戏是一副触觉手套，每只手套上塞了880个感应点，分布在五指和手掌，空间分辨率小于2毫米。

RGB-D*：一种既能拍彩色图像又能测量每个像素点真实距离的相机技术,简称来自RGB颜色加Depth深度。

打个比方，这就像给同一个厨师配了一整套固定不变的厨具，炒菜炉具刀具都不换，录500个小时的做菜过程。如果今天用A厨房的锅明天换成B厨房的锅，你分析出来的"火候差异"根本说不清楚是厨具的问题还是厨师技术的问题。固定设备、固定协议，是让"数据规模"这个变量能被单独拿出来研究的前提。如果不这样做，你永远不知道结果是数据量带来的,还是设备切换带来的噪音。

参与录制的大约有20名志愿者，覆盖了近2000个任务描述，涉及1500多种物体，分布在实验室、厨房、工作台、办公室、卧室、医疗、打包等9大场景，细分场景配置超过800种。任务指令写得很具体，比如"用双手摇晃一个玻璃锥形瓶"、"把一瓶水倒进广口瓶里"、"把笔记本电脑的充电线卷起来用魔术贴固定"。这种细粒度的任务描述,保证了数据不是随便乱录的日常生活片段,而是带着明确动作目标的结构化采集。

录制完成之后还有一道质量把关的工序，挺有意思。团队没有完全依赖人工检查，而是先用一个叫Gemini 3.7 Flash的多模态大模型，只看手腕摄像头拍的视频，不给它任何触觉数据,让它自己判断什么时候抓取了物体、哪几个手指接触到了东西、哪些时间段手是空闲的。

这一步相当于让AI先"盲猜"一遍手到底摸了什么，再拿这个猜测结果去跟真实的触觉传感器数据做对比。如果某个手指在视觉上明显碰到了东西，但触觉数据上这个手指毫无反应，这就说明传感器很可能坏了，这条数据要么打回人工复核要么直接剔除。这种双重验证机制,相当于找了个不知道答案的裁判先独立判一次,再拿这个判断去校验仪器是不是出了故障，比单纯靠人工目检效率高得多，也更客观。

**三、零样本触觉预测:换个传感器照样认得出**

数据集的质量光靠规模和设备统一还不够,得真金白银地用实验说话。第一个考验是零样本迁移。

研究团队用同一套叫TouchAnything的模型架构，分别在EgoTouch数据集的16.2小时训练集和TouchScale截取出来的等量16小时子集上训练，然后把两个模型都拿到EgoTactile（另一个数据集,用的是完全不同的传感器）上去测试，模型事先没见过这个传感器的任何数据。

cIoU*：接触交并比，衡量模型预测的接触区域和真实接触区域重合程度的指标,数值越高说明预测越准。

结果是，用EgoTouch训练出来的模型,cIoU只有0.134，而用等量TouchScale数据训练出来的模型，cIoU提升到了0.181，提升幅度超过三成。等到用上TouchScale全部500小时数据，这个数字进一步爬到0.383。

这个结果意味着什么?意味着在同样的训练数据量下，TouchScale学到的触觉表征天然具备更强的跨传感器泛化能力。而当数据量进一步放大，这种泛化能力还在持续增强,不是一个很快就见顶的曲线。研究团队专门做了从10%到100%的数据缩放实验，发现cIoU从0.311一路涨到0.383，中心定位误差和压力大小误差也同步下降。四条曲线几乎都呈现出同一个趋势:数据越多,效果越好,还没看到明显的天花板。

这就好比一个厨师只在一家餐厅的灶台上练习颠勺，突然被派去另一家餐厅用完全不同的锅,照样能颠得稳。练习场景越丰富、练习时间越长，适应新环境的能力就越强。如果厨师只在固定一个灶台上练了很短时间,换个锅可能连基本动作都变形。

**四、视觉表征的意外收获：触觉监督练出来的眼力**

这篇论文还有一个让人没完全预料到的发现:用触觉数据训练出来的视觉编码器，拿去做跟触觉完全无关的动作识别任务,表现反而比其他触觉数据集训练出来的更好。

研究团队用Hiera-B这个视觉骨干网络,分别在TouchScale、OpenTouch、FEEL、EgoTouch四个数据集上用同样的触觉预测任务去训练，然后把训练好的视觉编码器搬到MECCANO、Something-Something V2、Ego-Exo4D三个动作识别基准上测试，一种是直接做线性探测（固定住编码器只训练最后一层分类头）,一种是端到端微调（整个网络一起调整）。

Hiera-B*：一种层级化的视觉Transformer模型，用来提取图像或视频里的特征表示。

结果是TouchScale在三个基准、两种评测方式下全部拿到最高分，平均线性探测准确率24.45%，平均微调准确率49.62%，都明显高于另外三个数据集训练出的编码器。

这个发现乍一听有点反直觉。为什么用触觉数据训练出来的视觉模型，反而更会"看"动作？仔细想想其实不奇怪,触觉信号本质上是接触事件发生的强信号,一个模型要想准确预测什么时候、哪个部位会产生压力变化,它必须先学会从视觉画面里精准定位手和物体的交互瞬间。这种定位能力恰好也是动作识别任务最需要的能力。换句话说,触觉监督逼着视觉模型去关注那些真正重要的交互细节,而不是背景里的无关信息。

这就像一个人如果经常被要求根据手部动作去猜测他是不是正用力握住了什么东西，久而久之,他看别人动作的眼光会变得特别敏锐,能一下子抓住动作里最关键的那个瞬间,这种敏锐度放到别的观察任务上同样管用。如果一直没有这种"猜力气"的训练,看动作可能就只停留在表面的轨迹上,抓不住真正的发力点。

**五、搬到机器人身上：从人手到机械手的跨越**

前面两项都是感知层面的验证，真正的硬骨头是机器人实际操作能力能不能提升。这是最难证明的一步，因为人手和机械手的构造天差地别,直接把人的动作搬给机器人往往水土不服。

论文选择了一条巧妙的路，不去强行把人类手部动作映射到机器人动作空间上，而是只用TouchScale做一种叫做视觉触觉中期训练的事情。

这个中期训练具体干什么?模型学习根据当前的触觉观察和视觉语言上下文,去预测未来一段时间触觉会怎么变化,生成一组叫latent tactile tokens的隐藏表征，不涉及任何机器人的具体动作标签。

latent tactile tokens*：模型内部用来表示"预期触觉变化"的一组隐藏向量，不是具体的传感器数值，而是一种压缩后的抽象表征。

这一步训练完全不需要人类动作和机器人动作对齐,因为它压根不碰动作预测,只练触觉变化的感知。之后再把这个预训练好的触觉理解能力，接到真正的机器人策略模型N0-VTLA上,用50条人类遥操作采集的机器人演示数据去做正式的任务训练。

真实世界测试选了四个很有代表性的接触密集型任务：软硬物体分拣（机器人要通过物理接触判断物体软硬再放到对应位置）、瓶盖拧取、试管转移、白板擦拭（擦的时候要跟表面保持持续接触）。每个任务跑20次试验看成功率。

结果相当直接。没经过TouchScale中期训练的基线模型，四个任务平均成功率只有22.5%。经过TouchScale中期训练之后,平均成功率跳到57.5%，提升了35个百分点。拆开看，软硬分拣从10%涨到60%，瓶盖拧取从40%涨到70%，试管转移从30%涨到60%，白板擦拭从10%涨到40%。

35个百分点是什么概念?原来10次里机器人只能成功2到3次,现在10次里能成功5到6次。几乎是把一个"大概率失败"的任务变成了"大概率成功"的任务。而且这四个任务涵盖的接触类型完全不同,有的靠材质软硬判断、有的靠精细定位、有的靠持续压力维持,改善覆盖面很广，不是只在某一类任务上碰巧凑巧成功了。

同样做了数据规模实验。中期训练数据从20%一路加到100%，平均成功率从30.0%逐步爬升到57.5%。这条曲线不是一条平滑的直线，但整体趋势是向上的。

这个结果有点出乎意料的地方在于,整个链条里机器人根本没见过TouchScale里具体某一帧人手是怎么拧瓶盖的,它学到的只是"看到这样的视觉语言场景,触觉大概会怎么变化"这个更抽象的规律,但这个规律迁移到机械手上照样管用。

这就有点像一个从没下过厨的美食评论家，常年通过看食材的状态去判断"这道菜接下来大概会变成什么口感",虽然他自己没亲手炒过菜,但这种对食材变化规律的敏感度,搬到一个完全陌生的厨房,交给一个完全没经验的新手厨师参考,照样能帮新手判断火候对不对。如果评论家从来没练过这种"预判变化"的能力,直接把他的烹饪手法硬套给新手,反而可能因为身体动作不匹配而彻底失败。

**六、触觉预测和动作预测,到底有没有关系**

论文还做了一个挺细致的小实验,想弄清楚未来触觉预测的准不准，和最终动作做得好不好,这两者之间到底有没有直接关联。

团队计算了每一步触觉预测误差和动作预测误差之间的皮尔逊相关系数。结果是,经过TouchScale中期训练的模型，两者呈现出微弱的正相关，相关系数0.119，统计显著性达标。而没经过中期训练的基线模型,这个相关系数几乎是0，统计上完全不显著。

这说明触觉预测确实跟动作预测存在某种联系，但这种联系目前看起来还比较弱,远没到那种"触觉预测准,动作就一定做得好"的强绑定关系。论文作者自己也在文章里坦率承认，这个关联到底是怎么起作用的,未来触觉预测在机器人控制里到底扮演什么角色,目前仍是一个开放问题,没有定论。这种诚实的态度，比强行把一个弱相关包装成重大发现要靠谱得多。

**七、这件事放在更大的背景里看**

把这篇论文放回整个领域的发展脉络里，会看得更清楚一点。

过去几年，像Ego4D、Ego-Exo4D这类大规模纯视觉的人类活动数据集，不断推高了机器人从人类视频里学习的能力上限,甚至有数据集规模做到了两万小时以上。但这些数据集有一个共同的盲区,就是完全没有触觉信号。

与此同时，像EgoPressure、EgoTactile、EgoTouch这些专门研究触觉的数据集陆续出现，但规模都停留在个位数到二十来个小时之间,很难支撑起"规模效应到底存不存在"这个问题的严肃讨论。TouchScale把这两条路线真正接到了一起，用500小时的规模,第一次让研究者能够系统地问出"视觉触觉数据到底值不值得继续扩大规模"这个问题,并给出了一个相对清晰的肯定回答。

值得一提的是,这篇论文用的机器人策略模型N0-VTLA本身也是2026年才发表的较新工作，它引入了未来触觉预测这个思路来增强策略的触觉反应能力。T-Rex这篇论文则探索了另一条路，在大规模人类预训练之后再做触觉密集的机器人中期训练。TactAlign和TTP两篇工作则专注于解决人类和机器人之间触觉表征对不齐的问题,一个靠跨设备对齐观察，一个靠混合人类机器人数据做未来触觉预测的预训练。TouchScale选择的路径跟这些工作既有联系又有区别,它不去强行解决人机动作对齐这个老大难问题,而是绕开它,只做纯粹的触觉感知层面的迁移,这个选择本身也挺聪明。

写在后面

读完这篇论文,最让我意外的其实不是500小时这个数字本身,而是那个"触觉训练出来的视觉模型反而更会看动作"的发现。

这个结果其实在暗示一件更有意思的事:人类理解一个动作,很可能不是单纯靠看，而是靠一种潜在的"身体代入感",你看到别人拧瓶盖,脑子里会不自觉地模拟那股力道。如果一个AI模型也能通过触觉监督被逼着去学会这种"代入感",它看视频的方式可能会越来越接近人类真正理解动作的方式,而不只是记住像素怎么移动。

另一个值得琢磨的地方是那个皮尔逊相关系数的实验。0.119这个数字看起来很小,但它比0.003要有意义得多，这恰恰说明现在的触觉世界模型离真正理解"摸到什么会导致做什么"还有很长的路要走。这个弱相关,与其说是一个失望的结果,不如说是一个诚实的路标,它告诉我们接下来该往哪个方向继续挖。

机器人要真正学会摸东西，恐怕还需要比500小时多得多的数据,但至少现在我们知道,这条路走下去,是有回报的。

Q&A

Q1：TouchScale数据集是什么？

A：TouchScale是一个500小时的人类视觉触觉数据集，用同一套穿戴设备采集，包含头戴RGB-D视频、双手腕部RGB视频和双手触觉手套数据，覆盖约2000个任务描述和1500多种物体。

Q2：TouchScale对机器人操作有什么实际效果？

A：用TouchScale做视觉触觉中期训练后，机器人在四个接触密集型真实任务上的平均成功率从22.5%提升到57.5%，涵盖软硬分拣、瓶盖拧取、试管转移和白板擦拭。

Q3：触觉数据训练的模型能用在和触觉无关的任务上吗？

A：能。用TouchScale训练的视觉编码器迁移到动作识别任务上，在三个基准测试中表现均优于其他触觉数据集训练出的模型，说明触觉监督能帮助学到更有用的视觉表征。