当机器人学会"先想象再行动"：微软亚洲研究院让AI机器人具备"脑内预演"能力

这项由微软亚洲研究院的沈逸潮、魏方云、杨交龙等研究人员与西安交通大学、复旦大学合作完成的研究发表于2025年12月的第39届神经信息处理系统大会（NeurIPS 2025），论文编号为arXiv:2512.06963v1。这项突破性研究首次将视频生成模型成功转化为机器人操作系统，让机器人在执行任务前能够"脑内预演"整个操作过程。

机器人操作一直是人工智能领域的圣杯之一。当你要求一个机器人"把蓝色塑料瓶放到海绵旁边"时，它需要理解你的指令，观察周围环境，然后精确地移动手臂完成任务。但传统的机器人系统往往像个盲人摸象的新手，只能一步步试错，缺乏对操作后果的预判能力。

研究团队提出了一个革命性的解决方案——让机器人像人类一样，在真正动手之前先在"大脑"里预演整个操作过程。这就像一个经验丰富的厨师在做菜前会在脑海中想象每个步骤的结果一样，机器人现在也能提前"看到"自己的动作会产生什么效果。

这项技术的核心在于将原本用于生成视频内容的大型AI模型巧妙地改造成机器人的"大脑"。传统的机器人系统主要依赖视觉理解模型来"看懂"世界，但这项研究另辟蹊径，利用视频生成模型强大的物理世界理解能力和预测能力，让机器人既能预测应该采取什么动作，又能"想象"这些动作会带来什么样的视觉结果。

实验结果令人振奋。在各种测试场景中，这种新型机器人不仅在处理熟悉物体和已学过的技能方面表现出色，更令人惊讶的是，它还展现出了强大的泛化能力——能够处理从未见过的物体，甚至能够学习其他机器人的技能。这意味着一个机器人可以观察另一个机器人的操作视频，然后在自己的"脑内预演"中学会相同的技能，就像人类通过观看教学视频学习新技能一样。

一、机器人需要"想象力"的科学逻辑

要理解为什么机器人需要"想象力"，我们可以回想一下自己是如何学会复杂操作的。当你第一次学习开车时，经验丰富的司机会告诉你："在转弯前，先想象一下车子会如何移动，轮子会划出什么样的轨迹。"这种预判能力正是熟练操作和笨拙试错之间的分水岭。

传统的机器人系统就像一个没有预判能力的新手司机，只能依靠当前看到的画面做出反应。当它需要把一个杯子放到指定位置时，它只知道"现在我看到了杯子，我应该移动手臂"，但它无法预测"如果我这样移动，杯子会到达哪里，会不会撞到其他物体"。

研究团队观察到，近年来大型视频生成模型展现出了惊人的物理世界理解能力。这些模型能够根据一张图片和文字描述生成极其真实的视频内容，其中蕴含着对物体运动规律、物理交互规律的深刻理解。比如，当你给这些模型一张球在桌边的照片，并要求它生成"球掉落"的视频时，它能准确预测球的运动轨迹、落地反弹的效果，甚至桌子的轻微震动。

这启发了研究团队一个大胆的想法：既然视频生成模型已经"学会"了物理世界的运行规律，为什么不直接将这种能力转移到机器人控制上呢？这就像将一个擅长在纸上画出完美投篮轨迹的篮球教练，培训成能够指导真实投篮的教练一样。

现有的机器人系统大多基于视觉理解模型构建，这些模型擅长"看懂"静态的场景，但缺乏对动态变化的预测能力。研究团队提出的方法本质上是给机器人装上了一个"动态预测大脑"，让它不仅能理解当前状况，更能预见未来变化。

这种设计哲学的转变意义深远。过去，机器人学习主要依靠大量的试错经验，就像一个孩子通过无数次摔跤来学会走路。而新的系统更像是给孩子提供了一位经验丰富的教练，这位教练不仅知道怎么走，更重要的是能够提前告诉孩子"如果你这样迈步，可能会摔跤；如果那样调整重心，就能稳稳前进"。

二、双重预测：动作与视觉的完美结合

VideoVLA系统的核心创新在于其独特的"双重预测"机制。传统机器人系统通常只关注一个问题：下一步应该做什么动作？而VideoVLA同时解决两个问题：下一步应该做什么动作，以及这个动作会带来什么样的视觉结果？

这种设计就像给机器人装上了两个互相配合的"大脑半球"。左半球专门负责动作规划，告诉机器人"手臂应该向左移动3厘米，抓手应该闭合"；右半球则负责结果预测，生成一段视频展示"如果按照左半球的计划执行，世界会变成什么样子"。

更妙的是，这两个"大脑半球"并不是独立工作的，而是在整个思考过程中不断交流协作。当左半球提出一个动作方案时，右半球会立即"脑补"出执行结果的画面。如果这个画面显示杯子会掉落或撞墙，左半球就会调整方案。这种内部对话确保了最终的动作方案不仅在理论上正确，在实际执行中也能达到预期效果。

研究团队将这个系统构建在一个名为CogVideoX的大型视频生成模型基础上。这个基础模型已经通过观看海量真实世界视频学会了物理规律，就像一个看过无数部电影的观众能够预测剧情发展一样。研究人员巧妙地在这个模型中加入了机器人动作的输出能力，让它既能生成逼真的视频内容，又能输出可执行的机器人指令。

具体的工作机制可以这样理解：当你告诉机器人"把红色方块放到蓝色盘子里"时，系统首先会将这个文字指令和当前看到的场景图像输入到模型中。模型会同时开始两项工作：一方面计算出一系列精确的机器人动作指令（比如关节角度、移动距离等），另一方面生成一段展示这些动作执行过程的视频。

这段"想象视频"不是简单的动画制作，而是基于真实物理规律的预测。如果机器人计划抓取红色方块，视频会展示方块被抓起时其他物体的反应，手臂移动时的轨迹，以及方块最终放入盘子时的场景。这种预测的准确性直接关系到实际操作的成功率。

实验数据显示了这种双重预测机制的威力。当"想象视频"与实际执行结果高度吻合时，任务成功率显著提高。相反，当两者差异较大时，任务往往以失败告终。这证实了视觉想象质量与动作执行效果之间的强关联性，也验证了"先想象再行动"这一设计理念的科学性。

三、从零开始的学习能力：处理全新挑战

VideoVLA最令人印象深刻的能力之一是它处理完全陌生情况的本领。这就像一个从未见过网球的人，仅仅通过观察乒乓球比赛就能学会网球的基本动作原理一样神奇。

在测试中，研究团队故意给机器人安排了各种"初次见面"的挑战。他们从未在训练数据中出现的物体库中选择了十个全新物体，包括绿色立方体、胡萝卜、茄子、扳手、草莓、李子、网球、清洁剂瓶子、玩具飞机和手电筒。任何一个这样的物体对机器人来说都是完全陌生的，就像让一个只见过苹果的孩子去处理火龙果一样充满挑战。

令人惊讶的是，VideoVLA在处理这些陌生物体时表现出了超出预期的适应性。在"抓取绿色立方体"的任务中，它达到了96%的成功率；在处理"抓取茄子"时成功率为84%；即使是形状复杂的扳手，成功率也达到了40%。这些数字远远超过了其他对比系统的表现，其他系统在面对某些陌生物体时成功率甚至为零。

这种适应能力的秘密在于VideoVLA的"物理直觉"。由于底层的视频生成模型见过各种各样的真实世界场景，它对物体的一般性质有着深入理解。即使从未见过茄子，它也知道这是一个可以被抓取的固体物品，大致了解抓取时需要施加多大力量，手指应该如何配合等等。

更加令人印象深刻的是跨机器人技能迁移的能力。研究团队设计了一个"技能偷师"实验：让VideoVLA观察其他类型机器人的操作视频，然后在不同的机器人平台上重现这些技能。这就像让一个右撇子通过观看左撇子的书法视频来学习写字技巧一样具有挑战性。

在这个实验中，VideoVLA学会了原本只有WidowX机器人才掌握的七种特殊技能，包括"把勺子放在毛巾上"、"把胡萝卜放在盘子上"、"把绿色方块堆叠在黄色方块上"等。更复杂的技能如"取出苹果"、"翻转杯子"、"倒出可乐"和"滑动到不同位置"等，VideoVLA也能以不同程度的成功率掌握。

这种跨平台技能迁移之所以可能，关键在于VideoVLA并不是简单地记忆和复制动作序列，而是理解了动作背后的意图和原理。当它看到WidowX机器人执行"把勺子放在毛巾上"的动作时，它理解的不是"关节1转动15度，关节2转动30度"这样的机械指令，而是"识别勺子位置，规划安全路径，避免碰撞其他物体，精确放置"这样的高层逻辑。

四、真实世界中的实际表现

将实验室中的理论成果转化为真实世界的实用技术，往往是人工智能研究面临的最大挑战。VideoVLA在这方面的表现同样令人瞩目，研究团队使用一台配备7自由度机械臂和抓手的Realman机器人进行了全面的真实世界测试。

在真实环境测试中，VideoVLA需要处理实验室仿真环境无法完全模拟的各种复杂因素：照明变化、物体表面的细微纹理差异、机械系统的微小误差、环境噪声的干扰等等。这些因素就像在平静湖面练习游泳和在波涛汹涌的大海中游泳的区别一样巨大。

研究团队设计了三类基础任务来测试VideoVLA的实际能力。第一类是"抓取放置"任务，要求机器人准确抓取香蕉、柠檬、牛油果等日常物品，并将它们放置到指定颜色的盘子上。这类任务看似简单，实际上需要精确的视觉定位、力度控制和路径规划。第二类是"堆叠"任务，要求将不同颜色的杯子和碗进行组合堆叠。第三类是"放置"任务，涉及将彩色积木按要求摆放到特定位置。

在这些基础任务中，VideoVLA展现出了稳定的性能。在抓取任务中，它对香蕉的成功率达到62.5%，对柠檬达到75%，对牛油果达到75%，平均成功率为70.8%。在堆叠任务中，杯子堆叠的成功率为75%，碗类堆叠为58.3%，平均66.7%。这些数字虽然不是百分之百完美，但已经达到了实用化的门槛。

更重要的是真实世界的泛化能力测试。研究人员特意引入了训练阶段从未见过的十二种物体，包括蓝色球、透明胶带、玩具鸭、橡皮擦、螺丝刀、芒果、电缆、鼠标、桃子、钢笔，以及三种不同摆放姿态的瓶子。这些物体的材质、形状、大小都与训练物体存在显著差异。

在处理这些陌生物体时，VideoVLA的表现令人印象深刻。对蓝色球的抓取成功率达到83.3%，对芒果达到41.7%，对鼠标达到33.3%。虽然某些复杂物体的成功率相对较低，但重要的是VideoVLA至少尝试了合理的抓取策略，而不是完全束手无策。

最具挑战性的测试是让Realman机器人执行原本只有WidowX机器人掌握的技能。这相当于让一个习惯用筷子的人学会用叉子，不仅工具不同，连基本的操作逻辑都有差异。在"移动方块"任务中，VideoVLA的成功率达到81.3%；"抓取水果"任务达到68.8%；"推倒瓶子"任务达到43.8%。这些结果证明了VideoVLA确实学会了技能的本质，而不仅仅是机械地模仿动作。

五、技术细节：让想象变为现实的工程智慧

VideoVLA系统的技术实现体现了将理论洞察转化为工程实践的精妙设计。整个系统的核心是一个经过特殊改造的扩散变换器（Diffusion Transformer），这个名字听起来复杂，但可以理解为一个既能"做梦"又能"行动"的智能大脑。

系统的输入处理就像人类大脑处理多感官信息一样精细。文字指令通过T5文本编码器转换成226个标准化的语言符号，这个过程类似于将口语翻译成大脑能理解的"内部语言"。视觉信息则通过一个3D因果变分自编码器（3D-causal VAE）压缩成紧凑的数学表示，这就像将高清照片压缩成大脑记忆中的视觉印象一样。

特别值得注意的是这个视觉编码器的"因果"设计。传统的视频编码器会同时处理所有帧的信息，而因果编码器只能基于已经发生的画面预测未来画面，就像人类无法知道未来只能根据过去和现在进行推断一样。这种设计确保了系统在实际应用中的可行性。

系统的学习过程采用了扩散模型的训练策略。简单来说，这个过程就像教一个艺术家从噪点中画出清晰图画一样。系统首先学会识别"正确的"动作和视频是什么样的，然后学会从随机的噪声中逐步"去噪"得到正确的结果。这种学习方式的好处是能够生成多样化、创造性的解决方案，而不是僵硬地复制训练样本。

在具体实施中，研究团队使用了CogVideoX-5B作为基础模型，这是一个包含50亿参数的大型神经网络。训练过程分为两个阶段：首先在Open X-Embodiment数据集上进行大规模预训练，这个数据集包含了来自22个不同机器人平台的1百万条真实操作轨迹；然后在研究团队自己收集的5824个样本上进行精细调优。

整个训练过程使用了32个AMD MI300X GPU，这种计算规模相当于几百台高性能个人电脑的算力总和。模型训练了100,000个迭代周期用于预训练，15,000个迭代周期用于微调。每次推理时，系统使用DDIM采样方法进行50步去噪过程，在单个H100 GPU上的推理时间约为1.1秒。

动作输出的设计体现了实用性考虑。系统预测的每个动作是一个7维向量，前三维表示手腕的旋转角度，接下来三维表示手腕的平移距离，最后一维表示抓手的开合状态（0表示闭合，1表示张开）。在实际部署中，系统每次预测6个连续动作，但只执行前3个，这种"预测多执行少"的策略提供了必要的安全缓冲。

六、对比实验：证明"想象力"的价值

为了科学验证VideoVLA的有效性，研究团队进行了全面的对比实验。这就像在药物试验中设置安慰剂对照组一样，只有通过严格的对比才能证明新方法的真正价值。

在仿真环境的测试中，VideoVLA与多个当前最先进的机器人控制系统进行了正面比较，包括RT-1-X、RT-2-X、Octo系列、OpenVLA、SpatialVLA、π0和CogACT等。这些系统代表了当前机器人控制领域的不同技术路线和发展水平。

测试使用了SIMPLER环境，这是一个专门设计来评估机器人操作能力的标准化仿真平台。SIMPLER环境的设计理念是尽可能真实地模拟现实世界的物理特性，包括物体的重量、摩擦力、碰撞响应等，从而确保仿真结果能够较好地预测真实世界的表现。

在Google机器人的视觉匹配测试中，VideoVLA在"拿起可乐罐"任务上达到92.3%的成功率，在"移动靠近"任务上达到82.9%，在"开关抽屉"任务上达到66.2%。这些成绩在所有对比系统中名列前茅，特别是在综合平均分上达到了80.4%，超越了所有竞争对手。

更重要的是变体聚合测试的结果，这个测试通过改变背景、光照和桌面纹理来评估系统的稳健性。VideoVLA在这个更具挑战性的环境中仍然保持了62.8%的平均成功率，这证明了系统不仅仅是在特定条件下表现出色，而是具备了真正的适应能力。

在WidowX机器人的测试中，VideoVLA同样展现出强劲实力。在"把勺子放在毛巾上"这个看似简单实则需要精确控制的任务中，达到了75%的成功率；在"把茄子放入黄色篮子"这个涉及复杂形状物体操作的任务中，成功率为70.8%。

关键的泛化能力测试揭示了VideoVLA的真正优势。在处理训练时从未见过的新物体方面，VideoVLA的平均成功率达到65.2%，远超其他系统的表现。OpenVLA只有6.4%，SpatialVLA为50.8%，当前最强的CogACT也只有42.4%。这个巨大的性能差距清晰地证明了"视觉想象"机制的价值。

研究团队还进行了消融实验来验证系统各个组件的贡献。当移除视频预测功能，只保留动作预测时，系统性能出现了断崖式下降，平均成功率从80.4%跌落到27%。这个对比实验有力地证明了双重预测机制的必要性——仅仅预测动作是不够的，预测动作的视觉后果同样关键。

七、成功背后的科学原理

VideoVLA取得突破性成功的根本原因，在于它抓住了机器人控制的本质规律：优秀的操作能力源于对行动后果的准确预判。这个洞察听起来简单，但其科学深度值得仔细探讨。

传统的机器人学习方法本质上是一种"刺激-反应"模式。系统看到某种情况就输出某种动作，就像巴甫洛夫条件反射实验中的狗听到铃声就流口水一样。这种方法在处理固定任务时可能有效，但面对变化和未知情况时就显得力不从心。

VideoVLA代表了一种全新的"预测-验证-执行"模式。系统不仅要决定做什么，还要预测这样做会产生什么结果，并且这种预测必须足够准确，能够在实际执行前发现潜在问题。这种工作方式更接近人类专家的思维模式。

实验数据揭示了一个令人兴奋的发现：视觉想象的质量与任务成功率之间存在强烈的正相关关系。研究团队通过分析大量执行案例发现，当系统生成的"想象视频"与实际执行结果高度相似时，任务几乎总是成功的；反之，当两者差异较大时，任务往往失败。

这种关联性的存在并非偶然。它反映了一个深刻的认知原理：准确的结果预测是正确行动规划的基础。当系统能够准确预测"如果我这样移动手臂，物体会如何运动，会不会与其他物体发生碰撞"时，它就能制定出更合理的行动策略。

视频生成模型之所以特别适合机器人控制，是因为它们在训练过程中已经学会了复杂的物理规律和因果关系。这些模型观看了数百万小时的真实世界视频，从中学会了物体如何运动、如何相互作用、如何响应外力等基本物理原理。虽然这些知识是隐式存储的，但当我们将机器人动作作为新的输入条件时，这些知识就能自然地应用到动作预测上。

另一个关键因素是多模态学习的优势。VideoVLA同时处理语言、视觉和动作三种不同类型的信息，这种多模态融合产生了单一模态无法实现的协同效应。语言提供了任务目标的明确描述，视觉提供了环境的详细信息，动作提供了实现目标的具体手段。三者的紧密结合使得系统能够在更高的抽象层次上理解和执行任务。

八、技术局限与未来发展方向

尽管VideoVLA展现出了令人瞩目的能力，但研究团队也诚实地指出了当前技术存在的局限性。这种客观的态度正是科学研究应有的严谨性体现。

最主要的限制是推理速度。在真实世界部署中，VideoVLA需要约1.1秒来生成一次决策，这意味着机器人的控制频率只有大约3Hz。这个速度对于一些需要快速反应的任务来说可能是不够的，比如接住一个快速移动的物体或者在动态环境中导航。

这个速度瓶颈主要源于两个因素。首先是模型规模庞大，CogVideoX-5B包含50亿参数，即使在高性能GPU上运行也需要相当的计算时间。其次是扩散模型的推理过程本身就比较缓慢，需要通过多步去噪才能得到最终结果。

研究团队提出了几个可能的解决方向。第一个是开发专门针对机器人应用的轻量化视频生成模型。通用视频生成模型需要处理各种各样的场景和内容，但机器人操作的场景相对固定，可能不需要那么大的模型容量。第二个方向是采用新的推理加速技术，比如一步去噪方法或者模型蒸馏技术。

另一个局限是对复杂长期任务的处理能力。目前的系统主要针对相对简单的单步或少步任务进行了优化，对于需要多个子任务组合完成的复杂任务，系统的表现还有提升空间。这就像一个学会了基本笔画的学生，还需要继续学习如何组合这些笔画写出完整的文章一样。

在物体类型的适应性方面，虽然VideoVLA展现出了一定的泛化能力，但对于某些特殊材质或形状的物体，成功率仍然不够理想。特别是那些需要特殊抓取技巧的物体，比如易碎品、液体容器或极小物件，系统的处理能力还需要进一步增强。

环境复杂性也是一个挑战。当前的测试主要在相对整洁的实验室环境中进行，真实世界的环境往往更加复杂混乱。杂乱的桌面、变化的光照、背景噪声等因素都可能影响系统的表现。

尽管存在这些局限，VideoVLA开创的技术路线具有巨大的发展潜力。随着视频生成技术的不断进步，我们有理由相信这些问题将逐步得到解决。更重要的是，这项研究为整个机器人控制领域指出了一个全新的发展方向，将推动更多研究者投入到这一领域的探索中。

九、更广阔的应用前景

VideoVLA技术的意义远远超出了实验室演示的范畴，它为机器人技术在各个领域的应用开辟了新的可能性。这种基于"视觉想象"的控制方法有望在多个重要领域产生变革性影响。

在家庭服务机器人领域，VideoVLA的泛化能力特别有价值。家庭环境中的物品种类繁多且经常变化，传统机器人往往需要针对每种新物品重新训练。而VideoVLA能够通过理解物体的基本属性来处理未见过的物品，这意味着同一个家庭服务机器人可能同时胜任整理书籍、摆放餐具、收纳玩具等多样化任务。

制造业是另一个极具潜力的应用领域。现代制造业越来越趋向于多品种小批量生产，这要求生产线具备快速适应新产品的能力。VideoVLA的跨任务学习能力意味着工业机器人可能只需要观看少量演示就能学会处理新型零件，而不需要复杂的重新编程过程。

在医疗辅助领域，VideoVLA的精确预测能力具有特殊意义。医疗操作往往要求极高的精度和安全性，任何意外都可能造成严重后果。能够提前"想象"操作结果的机器人系统可以作为医生的智能助手，在手术规划和操作执行中提供更安全的支持。

教育机器人是一个特别有趣的应用方向。VideoVLA展现出的跨机器人技能迁移能力意味着，一个教育机器人可以通过观看在线视频学习新的演示技能，然后在课堂上重现这些技能。这为个性化教育和远程教育提供了全新的技术手段。

农业机器人领域也可能受益于这项技术。农业环境中的作物品种、生长阶段、天气条件等都在不断变化，传统机器人很难适应这种复杂性。VideoVLA的环境适应能力可能让农业机器人更好地处理采摘、种植、养护等多样化农业任务。

在科学研究领域，VideoVLA可能成为重要的实验助手。科学实验往往涉及复杂的操作步骤和精确的时机控制，人工操作既耗时又可能引入误差。能够通过观看演示学会复杂实验操作的机器人助手，将大大提高科研效率和实验的可重复性。

太空探索是一个更具挑战性但也更激动人心的应用领域。太空环境的不确定性和通信延迟使得远程操控变得困难，机器人必须具备高度的自主决策能力。VideoVLA的预测和适应能力可能让太空机器人更好地应对未知情况，执行复杂的探索和建设任务。

结论

说到底，VideoVLA代表的不仅仅是一项技术突破，更是机器人学习范式的根本性转变。过去，我们教机器人就像训练动物一样，通过大量重复练习让它们记住特定的反应模式。而现在，我们开始教机器人像人类一样思考，通过"想象"来预判行动的后果，通过理解来应对变化的环境。

这种转变的意义是深远的。当机器人具备了"想象力"，它们就不再是僵化的程序执行者，而成为了能够灵活适应的智能伙伴。它们能够处理训练时从未见过的物体，学习其他机器人的技能，甚至在某种程度上进行创造性的问题解决。

从技术角度看，VideoVLA成功地将视频生成模型强大的物理世界理解能力转移到了机器人控制领域。这种跨领域的技术迁移不仅解决了机器人控制的技术难题，也为其他人工智能应用提供了启发。它告诉我们，不同AI技术之间的边界正在变得模糊，真正的突破往往来自于创新的组合应用。

从实用角度看，虽然当前系统还存在推理速度等技术限制，但已经展现出了走向实用化的清晰路径。随着计算硬件的进步和算法的优化，这些限制将逐步得到解决。更重要的是，VideoVLA开创的技术方向为整个机器人行业指明了发展道路。

从社会意义看，这项技术让我们更接近真正通用的机器人助手这一长期目标。能够快速学习、灵活适应的机器人将在家庭、工厂、医院等各个场所发挥重要作用，帮助人类应对老龄化、劳动力短缺等社会挑战。

归根结底，VideoVLA的成功证明了一个基本道理：最好的技术创新往往来自于对自然智能的深入理解和巧妙模拟。就像人类通过"想象"来指导行动一样，让机器人也具备这种能力，可能是通向真正智能机器人的关键一步。

这项由微软亚洲研究院、西安交通大学和复旦大学联合完成的研究，不仅为当前的机器人技术发展做出了重要贡献，更为未来的智能机器人奠定了理论和技术基础。对于想要深入了解这项研究的读者，可以通过论文编号arXiv:2512.06963v1查询完整的技术细节和实验数据。

Q&A

Q1：VideoVLA是什么？

A：VideoVLA是微软亚洲研究院开发的一种新型机器人控制系统，它的核心能力是让机器人在执行任务前能够"脑内预演"整个操作过程。就像人类做复杂动作前会在脑海中想象一样，VideoVLA让机器人既能预测应该采取什么动作，又能"想象"这些动作会带来什么样的视觉结果，从而大大提高操作的准确性和成功率。

Q2：VideoVLA与传统机器人控制系统有什么不同？

A：传统机器人系统只能根据当前看到的情况做出反应，就像一个没有预判能力的新手。而VideoVLA采用"双重预测"机制，不仅预测下一步动作，还能生成显示这些动作执行效果的视频。这种"先想象再行动"的方式让机器人能够处理从未见过的物体，学习其他机器人的技能，展现出强大的泛化能力。

Q3：VideoVLA在实际应用中表现如何？

A：VideoVLA在仿真和真实环境测试中都表现出色。在处理训练时从未见过的新物体时，平均成功率达到65.2%，远超其他系统。在真实世界测试中，它能够成功抓取各种日常物品，成功率在60-80%之间。更令人印象深刻的是，它还能通过观看其他类型机器人的操作视频，学会在自己的机器人平台上重现相同技能。