机器人训练数据的革命：北京大学等顶尖机构发现，人类第一视角视频竟比真实机器人数据更能训练出强大的机器人

这项由北京大学、新加坡国立大学、麻省理工学院、加州大学圣塔芭芭拉分校及英伟达联合开展的研究，于2026年6月18日以预印本形式发布，论文编号为arXiv:2606.20521，题为《HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining》。有兴趣深入了解的读者可通过该编号在arXiv平台查询完整论文。

教一个孩子骑自行车，你会怎么做？大多数人的直觉是：让他坐上去，反复练习。但有位聪明的教练可能会说：先让他看几千个小时人类骑行的第一视角录像，让他的大脑先"见过世面"，再上车练习，效果会出奇地好。这项研究做的，正是把这个直觉用在机器人身上，而结论同样出乎所有人的意料。

一、机器人学习面临的"数据荒漠"困境

要理解这项研究的意义，先得明白机器人学习面临的核心难题。大型语言模型（比如能聊天的AI）之所以越来越聪明，本质原因是喂给它们的数据越来越多：互联网上数十亿网页的文字，取之不尽、用之不竭。然而，机器人的训练数据完全不是这么一回事。

目前训练机器人最主流的方式，是让人类操作员通过遥控装置亲手控制机器人完成各种任务，同时记录下机器人的每一个动作。这些数据叫做"遥操作真实机器人轨迹"，简单说就是人类手把手教机器人，边教边录像。这种数据的质量非常高，因为每一帧都精确记录了机器人关节的位置、夹爪的状态，和真实机器人完全对应。

但这种方法有个致命缺陷——贵。一台低成本的ALOHA双臂机器人平台造价约两万美元，还需要训练有素的操作员全程陪同，在精心布置的场景里反复演示，维护费用持续滚动。即便如此，全球所有公开的机器人遥操作数据加在一起，也只有大约两万小时左右，而且这两万小时里充斥着大量"无聊片段"——机器人缓慢移动、停顿等待、重置状态，真正有价值的动作内容稀少。

更糟的是，这些数据的多样性极其有限。机器人只能在固定的实验室工作台附近活动，抓取的物体不外乎那几十种，场景换来换去也只是那几个房间。当你希望机器人学到"放之四海而皆准"的通用能力时，这些千篇一律的数据会让它像一个只在自家厨房练过做饭的厨师——换个灶台就手忙脚乱。

正是这个困境，让研究团队开始认真思考另一种数据来源：人类的第一视角视频。

二、人类的"上帝视角"：第一视角视频是什么

所谓第一视角视频，就是人在头上戴着摄像头或AR眼镜，记录下自己日常活动时眼睛所看到的画面。你做饭时戴着它，就能录下你的双手切菜、翻炒、摆盘的全过程；你修理自行车时戴着它，就能录下你拧螺丝、更换零件的每一个细节。这类视频站在人类自己的视角，记录的是真实的"手-物体交互"过程，和机器人在执行任务时的"眼睛"视角非常相似。

这类数据的规模之大，与机器人数据相比简直是天壤之别。仅仅一个名为Egocentric-100K的数据集，就包含了来自14228名工人的十万小时工厂操作视频，超过了目前全球公开机器人数据的总和数倍。研究团队所依托的HumanNet数据集，更是汇聚了整整一百万小时的人类活动视频，其中超过八十万小时是第一视角内容。这个量级，是任何机器人遥操作团队都无法企及的。

然而，第一视角视频有一个明显的"缺陷"：它没有精确的机器人动作标注。摄像头只拍到了画面，不知道手关节的精确坐标，更不知道机器人夹爪该怎么移动。这就好比你看着一位厨师炒菜的录像，画面上厨师的手法行云流水，但录像里没有数字标注"此时右手腕向左旋转了23度"。

为了解决这个问题，研究团队采用了一种叫"手部姿态重定向"的技术：通过计算机视觉算法，从视频里估算出人类手部的姿态，再把这个姿态"翻译"成机器人末端执行器（相当于机器人手腕）的伪动作标签。这就像是请一位翻译，把厨师的每个动作都转化成机器人能理解的"动作说明书"，虽然精度不如真实机器人数据，但聊胜于无。

有了这套处理方法，第一视角视频就摇身一变，从"纯看热闹的录像"变成了"带着参考动作标注的学习素材"。

三、一场公平的对决：两种数据的全面比较

在正式做训练实验之前，研究团队先对两种数据进行了一番细致的"体检"，就像赛前检查两位选手的身体状态一样。他们从各自五千小时的数据池里随机取出约两小时的样本，从多个维度进行对比。

第一项检查是动作流畅度。真实机器人遥操作时，操作员要克服机器人系统的延迟和惯性，动作往往磕磕绊绊；而人类自然做动作时，手部运动流畅自然，几乎没有多余的颤抖。用一个叫"归一化冲击度"的指标来衡量，数值越低代表动作越平滑——结果人类视频数据的得分远低于机器人数据，意味着人类的动作质量更高，数据更"干净"。

第二项检查是"发呆时间"。机器人遥操作视频里，有大量时间是机器人停在原地不动的——操作员在思考下一步、重置场景、调整姿势。研究团队发现，机器人数据中"无效停顿"的比例远高于人类视频数据。换句话说，每小时的机器人数据里真正有价值的动作内容，比人类视频少得多。据估算，一百小时的数据里，第一视角视频包含约四万五千条有效轨迹，而机器人数据只有约八千条，差距接近六倍。

第三项检查是空间覆盖范围。机器人固定在工作台旁，手臂只能在一个有限的空间区域内移动，就像一个人被锁在椅子上只能伸手触及周围一米以内的地方。而人类在日常生活中自由移动，双手操作的空间范围宽广得多。在XZ平面（从上往下看的俯视图）上，人类视频数据的轨迹分布稀疏而广阔，机器人数据则密集地挤在一个小角落里。

第四项检查是跨场次的差异性。好的训练数据，每次示范都应该和上一次稍有不同，这样模型才能学到"通用规律"而非"死记硬背某条固定路线"。研究团队测量了在归一化时间轴上，不同示范之间的平均位置差异——人类视频的曲线明显高于机器人数据，说明每一次人类的操作都不完全一样，数据的多样性更丰富。

第五项检查是"词汇量"——也就是数据里涵盖了多少种不同类型的人-物交互。研究团队统计了各自数据中独特"动词-物体"组合的数量，比如"切苹果"、"拧瓶盖"、"折叠毛巾"等各算一种。结果人类视频包含2744种独特组合，而机器人数据只有107种。机器人只反复练习那一百来种任务，而人类的日常生活涵盖了上千种千变万化的动作。

第六项检查是视觉场景的多样性。研究团队从数据的文字描述中提取"场景词汇"，统计各自涵盖了多少种不同的场景环境。人类视频涉及361种不同场景词汇——厨房、车间、户外、书房、商店……而机器人数据只覆盖了156种，且主要集中在实验室环境。

这六项检查的结论非常清晰：第一视角人类视频在动作质量、有效信息密度、空间覆盖、场景多样性等几乎所有维度上，都优于或不亚于机器人遥操作数据。唯一的短板，是动作标注的精度——机器人数据有精确的关节坐标，而人类视频只有估算出来的伪标签。

这就引出了一个关键问题：在真正的训练实验里，哪种数据会赢？

四、实验设计：一场严格受控的公平竞赛

为了得出有说服力的答案，研究团队设计了一套极为严格的对照实验，确保除了预训练数据来源不同，其他所有条件完全一致。

整个实验分三个阶段进行，可以用"打地基—装修—验收"来理解。

打地基阶段，就是预训练。团队分别准备了两份各五千小时的预训练数据：一份来自HumanNet的第一视角人类视频（含伪动作标签），一份来自多种真实机器人遥操作数据集的汇总（含精确动作标签）。用这两份数据，分别对同一个模型架构进行预训练，得到两个"地基不同"的模型。

装修阶段，就是后训练（Post-training）。把两个预训练模型，用完全相同的真实机器人数据进行微调适配。这份后训练数据来自AgiBot World，挑选了15个双臂机械操作任务，每个任务100条专家示范，共1500条轨迹。两个模型使用完全相同的后训练数据、完全相同的计算资源，确保这个阶段对两者一视同仁。

验收阶段，就是评估。评估分两种情况：一种是"见过的任务"——在后训练时见过这15个任务，但评估时换了不同的物体实例；另一种是"没见过的任务"——完全没有在后训练中出现过的25个新任务，用来测试模型有没有真正学到"举一反三"的能力。评估指标是模型在这些任务上预测动作的误差损失，损失越低代表模型越准确。

除了数值指标，团队还在AgiBot双臂机器人平台上做了真实的物理实验，让机器人真正去执行任务，统计成功率。

这个实验设计的妙处在于：两组模型唯一的区别就是预训练数据的来源，所有其他变量都被锁死了。这就像两锅汤，用完全相同的厨具、完全相同的调料、完全相同的烹饪步骤，唯一区别是高汤底料一个用鸡骨熬制，一个用牛骨熬制。最终味道的差异，完全归因于底料的不同。

五、实验结果：人类视频大获全胜

实验结果出人意料地明确，甚至让研究团队自己都感到惊讶。

先看"见过的任务"（分布内评估）。随着第一视角人类视频预训练数据从100小时增加到5000小时，模型在后训练后的最优验证损失从0.0080单调下降到0.0067，比完全不做任何预训练的基线模型低了35%。而真实机器人数据预训练的模型，在同等规模下的最优损失为0.0071，比人类视频预训练模型略高，但两者差距相对较小。也就是说，在"见过的任务上"，人类视频和机器人数据的预训练效果相近，人类视频微微占优。

再看"没见过的任务"（分布外评估）——这才是真正考验"通用能力"的地方。人类视频预训练模型的损失从100小时的0.0234下降到5000小时的0.0204，比不做预训练的基线低了24%。而机器人数据预训练的模型呢？它的损失在整个数据规模范围内几乎没有任何改善，始终徘徊在0.025附近，5000小时时为0.0254。

换句话说，无论给机器人数据预训练塞多少数据，它在没见过的任务上的表现始终无法提升——就像一个只在固定菜谱里练习的厨师，给他再多时间，他也做不好菜单外的菜。而人类视频预训练，随着数据量的增加，模型在陌生任务上的表现持续变好，显示出清晰的"越学越强"的规律。

这种规律甚至可以用一个简单的数学公式来描述：L = a – b × ln(D)，其中D是预训练数据的小时数，L是验证损失。这个公式在数据从100小时到5000小时的范围内拟合得非常好，对于没见过的任务，拟合优度R?达到了0.94（满分是1，越接近1越精确），说明这不是随机波动，而是一条清晰、可预测的规律曲线。更重要的是，到5000小时时，这条曲线的斜率仍然是负的，意味着继续增加数据，模型应该还能继续进步，尚未触及天花板。

六、现实世界的终极检验：机器人真的动起来了

数字上的胜利还不够，研究团队把两个模型搬到了真实的AgiBot双臂机器人平台上，让机器人真正去抓物体、放杯子、整理水果，统计真实的任务成功率。

实验设计了两种难度：分布内（in-distribution）——操作的物体和后训练时见过的一样；分布外（out-of-distribution）——换成了后训练时从未见过的陌生物体，比如换一个形状不同的杯子，或者换一种没见过的水果。

结果非常直接。不做任何预训练的基线模型，在分布内任务上成功率为40%，勉强及格；但一换成分布外的陌生物体，成功率直接归零——40分变成了0分，完全崩溃。而人类视频预训练模型，在分布内任务上成功率高达92.5%；切换到分布外陌生物体后，成功率只下降了2.5个百分点，维持在90%。

从40%到0%，对比从92.5%到90%，这两条曲线讲述了完全不同的故事。前者是一个只记住了特定物体外观的"死记硬背"模型，后者是真正学到了"操作物体"这件事本质规律的"举一反三"模型。在具体的任务视频里也能看到明显差异：人类视频预训练的机器人面对陌生物体时，依然稳健地完成了抓取、放置等动作；而基线模型一旦碰到陌生物体，就像失了魂一样茫然无措。

值得一提的是，在后训练过程中就能发现差距。以"分拣水果蔬菜"这个任务为例，人类视频预训练的模型从一开始训练损失就远低于基线模型，最终收敛到的损失约为基线模型的2.4倍低——也就是说，有了好的预训练"底子"，同样的后训练数据可以发挥出远超以往的效果。

七、为什么人类视频会赢？研究团队的深层解释

这个结果背后有两个核心原因，研究团队在论文中做了仔细分析。

第一个原因是多样性和信息密度。机器人遥操作数据从结构上就被限制在有限的几个实验室场景里：固定的工作台、有限的物体种类、脚本化的任务流程。即便投入大量人力物力扩充机器人数据集，新增的那些小时里，出现的场景和任务也跟之前的大同小异，边际信息增益越来越低。反观人类第一视角视频，每一个新的小时都可能带来完全不同的场景——今天是厨房做饭，明天是车间修理，后天是户外整理园艺工具——新增数据带来的新信息始终保持充沛。

第二个原因是"未见技能的泛化能力"。研究团队特别强调：他们在扩充机器人预训练数据时，始终确保新加入的机器人任务与后训练任务和评估任务完全不重叠，防止作弊。即便如此，机器人数据预训练在陌生任务上的表现依然毫无改善。这说明问题不是数据量不够，而是机器人数据的"生态"太封闭——在实验室里反复练习的技能，天然就难以迁移到真实世界的陌生情境中。

这两个原因合在一起，解释了为什么人类视频的"多样性优势"在预训练阶段会压过机器人数据的"精确对齐优势"。预训练的核心任务是让模型学到广泛而通用的世界表示，这正是多样性最能发挥价值的地方；而精确对齐机器人关节坐标，是后训练阶段需要解决的问题，用少量真实机器人数据就可以完成。

八、与相关研究的对比：这项研究的独特贡献

在这项研究之前，学术界已经有一些工作探索过将人类视频用于机器人学习。比如EgoMimic同时使用人类视频和机器人数据进行联合训练；EgoScale把第一视角数据扩展到两万多小时，发现了手部灵巧操作任务上的对数线性规律；Being-H0从人类手部轨迹中提炼动作先验；HumanEgo展示了几分钟的人类视频就能替代远更长时间的遥操作示范。

但这些工作都没有回答一个核心问题：在匹配规模的前提下，人类视频预训练和机器人数据预训练，哪个更强？这项研究是第一个在严格受控的对照实验框架下，正面回答这个问题的工作，而且研究对象是自回归式的世界-动作模型（WAM），这类模型同时预测未来视频帧和对应动作，是当前最具代表性的体化智能模型架构之一。

关于模型架构：这项研究使用的世界-动作模型，基于一种叫"混合专家变换器"（MoT）的架构，视频预测部分从Wan 2.2视频生成模型初始化，动作预测部分通过插值初始化。模型同时学习"下一帧图像是什么"和"对应的机器人动作是什么"这两件事，视频生成提供丰富的视觉监督信号，动作预测提供任务执行的直接目标。

说到底，这项研究指出的道路是：用第一视角人类视频打宽广的基础，再用少量精确的机器人数据做针对性适配。这个两步策略，可以在保持低成本的同时，获得远超纯机器人数据训练的泛化能力。

对于整个机器人学习领域，这意味着数据瓶颈或许没有想象中那么难以突破——不必拼命建造更多机器人工厂、雇用更多遥操作员、收集更多昂贵的机器人数据，转而把目光投向人类自己每天产生的海量第一视角生活录像，或许是一条更经济、更有效的道路。

当然，研究团队也坦率地指出，当前的实验还有局限：预训练数据最多只到5000小时（受限于可用机器人数据的规模），且主要在世界-动作模型架构上验证，对于另一大主流架构视觉-语言-动作模型（VLA）的效果还在探索中。随着更多机器人数据的积累，后训练阶段是否也能从更大规模的机器人数据中受益，仍是一个开放的问题。研究团队表示，正在继续扩大数据规模，并在更广泛的机器人平台和模型架构上验证这一发现的普适性。

归根结底，这项研究告诉我们：让机器人学会"做事"，也许最好的老师不是另一台机器人，而是几百万小时戴着头部摄像头的普通人类。这个发现既朴素，又深刻——机器人想真正理解这个世界，先得好好"看看"人类是怎么生活的。有兴趣深入了解实验细节和数据的读者，可以在arXiv平台搜索编号2606.20521查阅原文，代码也将在GitHub的DAGroup-PKU/HumanNet仓库开放。

Q&A

Q1：用人类第一视角视频训练机器人，为什么不需要精确的机器人动作数据也能有效？

A：因为预训练阶段的核心目标是让模型理解"世界是怎么运作的"——物体如何被抓取、如何移动、场景如何变化。人类视频提供的是极为丰富的视觉和交互经验，哪怕动作标注是估算出来的伪标签，这种广泛的世界知识依然能帮助模型建立强大的通用表征。精确的机器人动作对齐，是后续用少量真实机器人数据微调就可以完成的工作，两件事分开做，各自发挥长处。

Q2：HumanScale研究中用来对比的机器人数据，具体来自哪些数据集？

A：研究中使用的5000小时机器人数据，是从多个真实机器人遥操作数据集汇总而来的多平台数据，包含精确的末端执行器位姿和夹爪状态。后训练数据则专门来自AgiBot World，挑选了15个双臂操作任务共1500条轨迹。为确保公平性，机器人预训练任务与后训练任务和评估任务全部保持不重叠。

Q3：人类第一视角视频预训练对机器人泛化能力的提升，具体体现在哪些方面？

A：最显著的提升在于陌生任务和陌生物体的处理能力。在真实机器人实验中，人类视频预训练模型面对从未见过的物体时，成功率从92.5%仅下降到90%；而没有预训练的基线模型在分布内成功率只有40%，遇到陌生物体后直接归零。在验证损失指标上，人类视频预训练在陌生任务上比机器人数据预训练低约20%，且随数据量增加持续改善，而机器人数据预训练在陌生任务上几乎无法从更多数据中受益。