机器人终于学会"察言观色"：上海AI实验室让机器人像人类一样边思考边行动

当我们看到一台机器人站在厨房里，面对满桌的物品和一句"帮我准备做三明治的工具"的指令时，它会怎么做？大多数现有的机器人可能会茫然无措，因为它们往往只能执行非常具体的命令，比如"拿起红色的苹果"或"打开抽屉"。但是，由上海人工智能实验室、中国科学技术大学和浙江大学联合研究团队开发的InstructVLA系统，却能像人类一样思考："做三明治需要刀具，我应该找一把刀。"然后准确地找到并拿起刀具。

这项突破性研究发表于2025年7月，论文作者包括杨帅、李昊、陈奕伦等多位研究者，该研究首次真正实现了让机器人同时具备"看懂世界"和"灵活行动"的能力。有兴趣深入了解的读者可以通过arXiv:2507.17520访问完整论文。

要理解这项研究的重要性，我们可以把现有的机器人比作一个只会按菜谱做菜的厨师。给它一份详细的菜谱，它能做得很好，但如果你说"今晚想吃点清爽的"，它就不知道该怎么办了。而InstructVLA就像是一个既懂得品味又会做菜的大厨，不仅能理解你的意图，还能灵活地选择合适的食材和做法。

传统的机器人面临着一个经典的两难困境。一方面，要让机器人理解复杂的人类语言和视觉信息，需要大量的训练数据和强大的理解能力。另一方面，要让机器人准确地执行动作，又需要专门的动作控制系统。就像让一个人既要成为语言学家又要成为运动员一样困难。更糟糕的是，当研究人员试图让机器人同时学会这两种能力时，往往会出现"顾此失彼"的情况——机器人学会了新的动作技能，却忘记了之前掌握的语言理解能力，这在技术上被称为"灾难性遗忘"。

InstructVLA的革命性突破在于，它找到了一种让机器人像人类一样"边思考边行动"的方法。研究团队创造了一个独特的训练体系，就像是为机器人设计了一个"大脑"和"身体"协调工作的机制。这个系统不是简单地把语言理解和动作执行拼接在一起，而是让它们深度融合，互相促进。

研究团队的核心创新在于开发了一种叫做"视觉-语言-动作指令调优"的训练方法。这个方法的精妙之处在于，它让机器人在学习新的动作技能时，不会忘记原有的语言理解能力。就像一个优秀的音乐家在学习新曲子时，不会忘记音乐理论一样。研究人员精心设计了一个包含65万个样本的训练数据集，涵盖了从简单的物体识别到复杂的情境推理的各种场景。

这个训练过程分为两个阶段。第一阶段是"动作预训练"，就像教孩子先学会基本的动作技能。第二阶段是"视觉-语言-动作指令调优"，这时候机器人开始学习如何将语言理解与动作执行结合起来。研究团队还采用了一种叫做"混合专家"的技术架构，让机器人能够根据不同的情况自动切换到最合适的"思考模式"。

为了验证InstructVLA的能力，研究团队设计了一个名为"SimplerEnv-Instruct"的测试平台，包含80个不同的任务场景。这些任务不仅考验机器人的基本动作能力，更重要的是测试它们理解复杂指令和进行情境推理的能力。结果令人印象深刻：InstructVLA在处理复杂指令时的成功率比现有最先进的系统提高了92%，在需要情境推理的任务中也有29%的提升。

一、机器人的"双重人格"难题

要理解InstructVLA的创新价值，我们首先需要了解机器人领域一个长期存在的技术难题。目前的机器人系统就像是患了"双重人格症"的患者：一种"人格"擅长理解和交流，能够看懂图像、理解语言、进行推理，但不会做具体的事情；另一种"人格"则擅长执行动作，能够精确地抓取物体、操控工具，但对语言和视觉理解能力很有限。

这种分裂状态在技术上表现为两类不同的系统。第一类是视觉-语言模型，就像一个博学的学者，能够回答各种问题、描述图像、进行推理，但无法执行实际的物理动作。第二类是机器人控制系统，就像一个技艺精湛的工匠，能够完成复杂的操作任务，但只能按照非常具体和简单的指令工作。

当研究人员试图将这两种能力结合时，就会遇到一个被称为"灾难性遗忘"的问题。这个现象就像一个原本会说多种语言的人，在专门学习一门新语言时，却逐渐忘记了其他语言。机器人在学习新的动作技能时，往往会丢失原有的语言理解和视觉推理能力。这不仅仅是技术缺陷，更是限制机器人走进日常生活的根本障碍。

现有的解决方案大多采用"分而治之"的策略，要么同时训练两种能力但效果不佳，要么使用外部的语言模型来辅助机器人理解指令。前者往往导致两种能力都不够强，后者则增加了系统的复杂性和成本。更重要的是，这些方案都没有实现真正的"思考与行动融合"，机器人仍然无法像人类那样在执行任务的过程中进行实时的推理和调整。

二、InstructVLA的"大脑手术"

InstructVLA的解决方案就像是为机器人进行了一次精密的"大脑手术"，让原本分离的"思考中枢"和"行动中枢"能够无缝协作。这个系统的核心创新在于一种叫做"混合专家架构"的设计，可以想象成在机器人的"大脑"中安装了多个专门的"顾问"，每个顾问都擅长不同的任务。

当机器人面对一个复杂指令时，系统会自动选择最合适的"顾问团队"来处理。比如，当听到"帮我找个能切东西的工具"这样的指令时，语言理解顾问会分析出用户需要的是刀具，视觉识别顾问会在环境中寻找可能的候选对象，而动作规划顾问则会制定具体的抓取和移动策略。

这个架构的精妙之处在于使用了一种叫做"低秩适应"的技术。这就像是在原有的神经网络上加装了一些"插件"，让系统能够学习新技能而不会干扰原有的能力。研究团队在机器人的语言理解模块中插入了专门的动作学习插件，这些插件只有在需要执行动作时才会激活，平时不会影响正常的语言处理功能。

更进一步，InstructVLA还采用了一种"异步推理"的机制。传统的机器人系统要么先思考再行动，要么直接根据指令执行动作。而InstructVLA能够在执行动作的过程中持续进行推理和调整，就像人类在做复杂任务时会边做边想一样。这种能力使得机器人能够处理那些需要多步推理和动态调整的复杂任务。

系统还包含了一个专门的"动作专家"模块，这个模块采用了一种叫做"流匹配"的技术来生成精确的动作序列。与传统的动作生成方法不同，流匹配技术能够生成更加平滑和自然的动作轨迹，让机器人的动作看起来更像人类的自然动作。

三、打造机器人的"教科书"

要让InstructVLA真正发挥作用，研究团队面临的一个重大挑战是如何为它提供合适的训练数据。现有的机器人数据集就像是一堆没有整理的零散笔记，缺乏系统性和多样性。为了解决这个问题，研究团队开发了一个专门的数据制作流水线，就像是为机器人编写了一套完整的"教科书"。

这套"教科书"的核心是一个包含65万个样本的VLA-IT数据集。与传统的机器人训练数据不同，这个数据集不仅包含了动作示例，还包含了丰富的语言描述、场景分析和推理过程。每个训练样本都像是一个完整的小故事，包含了环境描述、任务目标、执行步骤和结果反馈。

研究团队将训练数据分为四个主要类别。第一类是"场景描述"，教会机器人如何准确地理解和描述所处的环境。第二类是"问答对话"，让机器人学会回答关于环境和任务的各种问题。第三类是"指令改写"，训练机器人理解同一个任务的不同表达方式。第四类是"情境创建"，教会机器人根据上下文推断用户的真实意图。

数据制作过程中最有趣的部分是研究团队发现，即使是最先进的语言模型GPT-4o在理解机器人操作任务时也会出现明显的错误。当让GPT-4o根据图像序列来描述机器人的行为时，它有时会把机器人的手臂误认为是面包卷，或者完全搞错动作的先后顺序。这个发现突出了专门训练数据的重要性，也解释了为什么简单地使用通用语言模型来辅助机器人并不总是有效的。

为了确保数据质量，研究团队采用了一种"人机协作"的标注方式。人类专家提供准确的任务描述和目标定义，然后使用GPT-4o来生成多样化的语言表达和推理过程。这种方法既保证了数据的准确性，又确保了语言表达的丰富性和自然性。

四、两阶段训练的精妙设计

InstructVLA的训练过程就像是培养一个全能型人才的教育过程，分为两个精心设计的阶段。第一阶段叫做"动作预训练"，就像是先让学生掌握基本技能。第二阶段叫做"视觉-语言-动作指令调优"，则像是在基本技能基础上培养综合素养。

在第一阶段，研究团队专注于让机器人学会基本的操作技能。这个过程使用了大规模的机器人演示数据，包括来自不同机器人平台的操作记录。有趣的是，研究团队还为每个动作序列配备了"语言运动描述"，就像是为动作配上了解说词。比如，当机器人向右移动并张开夹具时，对应的描述可能是"向右移动并打开夹具"。这种描述帮助机器人建立起语言和动作之间的基本联系。

第二阶段是整个训练过程的核心创新。在这个阶段，动作专家模块被冻结，不再更新参数，而新增加的语言理解适配器开始接受训练。这种设计就像是在一个已经掌握了演奏技巧的音乐家身上培养即兴创作能力，既不会影响原有的技能，又能增加新的创造性表达。

训练数据的配比也经过了精心设计。研究团队使用了1:7的比例来平衡多模态理解数据和机器人操作数据，这个比例是通过大量实验确定的最优配置。过多的语言数据会影响动作性能，而过多的动作数据则会削弱语言理解能力。

更重要的是，第二阶段的训练采用了"交替学习"的策略。系统不是同时处理语言和动作任务，而是像人类学习复杂技能一样，在不同类型的任务之间切换。这种方法让机器人能够在保持原有能力的同时，逐步掌握更复杂的综合技能。

五、SimplerEnv-Instruct：机器人的"高考"

为了全面评估InstructVLA的能力，研究团队设计了一个名为SimplerEnv-Instruct的测试平台，这就像是为机器人设计的一场综合性"高考"。与传统的机器人测试不同，这个平台不仅考查机器人的动作技能，更重要的是测试它们理解复杂指令和进行情境推理的能力。

整个测试平台包含80个不同的任务，分为两个主要类别。第一类是"指令聚合"任务，主要测试机器人理解各种不同表达方式的能力。比如，同样是让机器人拿起香蕉，测试中可能会说"拿起那个黄色弯曲的水果"，或者用法语说"saisis la banane"，甚至可能说"给我拿个猴子爱吃的东西"。这类任务考验的是机器人的语言理解灵活性和知识迁移能力。

第二类是"情境推理"任务，这是最有挑战性的部分。在这类任务中，机器人需要根据上下文推断用户的真实意图。比如，当用户说"我想清洁桌子，帮我找个合适的工具"时，机器人需要理解用户需要的是海绵或抹布，而不是其他工具。或者当用户说"我渴了但不想喝汽水"时，机器人需要推断出应该拿水或果汁而不是可乐。

测试环境的设计也充满巧思。研究团队故意在场景中加入了许多"干扰项"和"出域对象"，就像在考试中设置陷阱题一样。比如，当要求机器人拿苹果时，桌上可能同时放着玩具苹果和真苹果。这些设计确保机器人不能仅仅依靠模式匹配来完成任务，而必须进行真正的理解和推理。

更有趣的是，测试还包含了一些需要常识推理的任务。比如，询问"桌上哪个水果最酸"时，机器人需要运用关于柠檬、梨等水果的常识知识来做出判断。这些任务测试的不仅是机器人的感知能力，更是它们运用预训练知识解决实际问题的能力。

六、令人瞩目的实验结果

InstructVLA在各项测试中的表现可以用"令人瞩目"来形容。在传统的机器人操作任务中，它比现有最先进的SpatialVLA系统提高了30.5%的成功率。更令人印象深刻的是，在需要复杂推理的SimplerEnv-Instruct测试中，InstructVLA的表现比经过特别优化的OpenVLA系统高出92%，甚至比使用GPT-4o辅助的专家系统还要好29%。

这些数字背后反映的是机器人能力的质的飞跃。在指令聚合任务中，InstructVLA展现出了惊人的语言理解灵活性。它不仅能够理解多种语言的指令，还能准确识别物体的属性描述。比如，当听到"拿起绿色的泪滴形状的水果"时，它能正确识别出指的是梨而不是其他绿色物体。

在情境推理任务中，InstructVLA的表现更是突出了其"智能化"的特征。面对"我饿了但不想喝东西"这样的指令时，它能够正确推断出应该拿橙子而不是可乐。这种推理能力的背后是对语言细节的精确理解和常识知识的灵活运用。

研究团队还进行了大量的对比实验，结果显示InstructVLA在保持强大动作能力的同时，还保持了优秀的多模态理解能力。在标准的视觉-语言测试中，它的表现甚至超过了一些专门的视觉-语言模型。这证明了研究团队设计的训练方法确实解决了"灾难性遗忘"的问题。

特别值得一提的是，InstructVLA还展现出了"测试时思考"的能力。当面对复杂任务时，如果让系统先生成一段文字描述来分析情况，然后再执行动作，成功率会进一步提高36.1%。这种能力让机器人更像人类专家，能够在行动前进行周密的思考和规划。

七、从实验室走向现实世界

InstructVLA的价值不仅体现在实验室的测试数据上，更重要的是它在真实世界环境中的表现。研究团队在两种不同的机器人平台上进行了实际部署测试：Franka Research 3机器人和WidowX250机械臂。这些测试就像是让一个优秀的学生从模拟考试走向真正的考场。

在真实环境测试中，InstructVLA面临的挑战比仿真环境更加复杂。真实世界中的光照变化、物体材质差异、环境噪音等因素都会影响机器人的感知和决策。然而，InstructVLA展现出了令人印象深刻的适应能力。在原子指令任务中，它比OpenVLA系统的成功率高出23.3%，而在需要推理的复杂任务中，这个优势更是扩大到了41.7%到46.7%。

最令人兴奋的是InstructVLA在零样本场景下的表现。研究团队在一个全新的厨房环境中测试了机器人，这个环境有着不同的背景、照明和物体。面对"拿起写字工具"这样的指令，机器人能够正确识别并拿起马克笔。当听到"我想给婴儿喂食，需要什么工具"时，它能够推断出需要勺子并准确执行。

真实世界测试中最有趣的发现是InstructVLA对环境变化的鲁棒性。即使在极端的照明条件下，比如突然关闭房间灯光或使用强烈的彩色灯光，机器人仍然能够稳定工作。这种稳定性来自于其视觉系统使用的DINO和SigLIP特征提取器，它们经过了大规模数据训练，对环境变化具有很强的适应性。

研究团队还测试了机器人处理语言细节的能力。当指令中包含否定词时，比如"我渴了但不想要饮料"，机器人能够正确理解并拿起橙子而不是可乐。这种对语言细节的敏感性在之前的机器人系统中是很难见到的。

八、技术创新的深层解析

InstructVLA的成功不是偶然的，而是建立在多项技术创新的基础之上。其中最核心的创新是"混合专家适应"机制，这个机制就像是为机器人的大脑安装了一个智能的"任务分配器"。当面对不同类型的任务时，系统能够自动激活最合适的处理模块。

这个机制的实现基于一种叫做LoRA（低秩适应）的技术。传统的方法需要修改整个神经网络来学习新任务，这往往会干扰原有的功能。而LoRA技术只在网络中插入少量的新参数，就像在原有的电路板上加装一些小芯片，既能实现新功能，又不会影响原有电路的工作。

另一个重要创新是"潜在动作表示"的设计。传统的机器人系统直接学习具体的动作指令，这种方法虽然直接但缺乏灵活性。InstructVLA采用了一种更抽象的表示方法，就像是用"意图"而不是"具体动作"来描述任务。这种抽象表示让系统能够更好地泛化到新的情况和环境。

流匹配技术的应用也是一个亮点。与传统的动作生成方法相比，流匹配能够生成更加平滑和自然的动作轨迹。这不仅让机器人的动作看起来更自然，更重要的是提高了动作执行的精确性和可靠性。

系统还采用了一种创新的"异步推理"架构。传统的机器人要么先思考再行动，要么直接执行动作，而InstructVLA能够在执行动作的过程中持续进行推理和调整。这种能力让机器人能够处理那些需要实时调整策略的复杂任务。

九、局限性与未来展望

尽管InstructVLA取得了显著的成果，但研究团队也坦诚地指出了系统目前的一些局限性。最主要的限制是系统目前只使用单一图像作为视觉输入，这在处理某些需要深度信息或历史信息的任务时可能会遇到困难。就像只用一只眼睛看世界，虽然能够识别物体，但对距离和空间关系的判断会有一定影响。

另一个挑战是"真实世界到仿真环境"的差距。尽管InstructVLA在真实环境中表现良好，但仍然存在一些仿真训练难以覆盖的情况。比如，真实世界中物体表面的反光、材质的差异、以及一些微妙的物理现象都可能影响机器人的感知和决策。

研究团队还发现，虽然系统在语言理解方面表现出色，但在一些需要极其精细操作的任务中，动作执行的准确性仍有提升空间。这主要是因为当前的训练数据中精细操作的样本相对较少，而且第三人称视角的观察也限制了对精细动作细节的学习。

展望未来，研究团队计划在几个方向上继续改进。首先是引入多模态感知，包括深度信息、触觉反馈等，让机器人能够更全面地感知环境。其次是扩大训练数据的规模和多样性，特别是增加更多精细操作和长期任务的样本。

更有雄心的目标是将InstructVLA扩展到更复杂的任务场景，比如多步骤的烹饪任务、协作式的搬运工作等。研究团队相信，随着训练数据的丰富和算法的改进，机器人将能够处理越来越复杂的日常生活任务。

十、对未来生活的深远影响

InstructVLA代表的不仅仅是一项技术突破，更是机器人走进日常生活的重要一步。当机器人能够理解自然语言指令并灵活执行任务时，它们就有可能成为真正有用的家庭助手、医疗护理员或工业协作伙伴。

在家庭场景中，我们可以想象这样的未来：当你下班回到家说"帮我准备晚餐"时，机器人不仅知道要去厨房，还能根据冰箱里的食材和你的饮食偏好来规划菜单和准备过程。当老人说"我的药在哪里"时，机器人能够理解这个请求的紧迫性，并迅速找到并送来需要的药物。

在医疗护理领域，InstructVLA的技术可能会催生更智能的护理机器人。这些机器人不仅能够执行基本的护理任务，还能理解病人的需求和情绪，提供更贴心的服务。比如，当病人说"我觉得有点冷"时，机器人能够推断出需要调整室温或提供毯子。

在工业环境中，这种技术可能会改变人机协作的方式。工人不再需要学习复杂的机器人编程语言，而是可以用自然语言来指导机器人完成任务。这不仅提高了工作效率，也降低了技术门槛，让更多人能够与机器人协作。

当然，这些应用的实现还需要时间和进一步的技术发展。安全性、可靠性和成本效益都是需要解决的重要问题。但InstructVLA的成功证明了这个方向的可行性，为未来的发展奠定了坚实的基础。

说到底，InstructVLA最重要的贡献可能不是具体的技术细节，而是它证明了机器人可以像人类一样"边思考边行动"。这种能力的实现标志着我们朝着真正智能的机器人助手迈出了重要一步。虽然我们还没有到达科幻电影中描述的那个未来，但InstructVLA让我们看到了那个未来的轮廓，也让我们对机器人技术的发展充满了期待。

随着这项技术的不断完善和普及，我们有理由相信，在不久的将来，与机器人的交流将变得和与人类朋友聊天一样自然。那时，机器人将不再是冰冷的机器，而是真正理解我们需求、帮助我们生活的智能伙伴。对于这样一个充满可能性的未来，有兴趣深入了解技术细节的读者，不妨访问原论文arXiv:2507.17520，探索这个激动人心的技术世界。

Q&A

Q1：InstructVLA与传统机器人有什么不同？

A：InstructVLA最大的不同在于它能够像人类一样"边思考边行动"。传统机器人要么只能理解语言但不会行动，要么只能执行简单动作但不懂复杂指令。而InstructVLA能够理解"帮我找个能切东西的工具"这样的抽象指令，然后推理出用户需要刀具，并准确找到和拿起刀具。

Q2：InstructVLA能处理多复杂的指令？

A：InstructVLA能处理需要推理的复杂指令。比如当你说"我渴了但不想喝饮料"，它能推断出应该拿橙子而不是可乐。它还能理解多语言指令，识别物体的属性描述，甚至根据常识推理做出判断，比如知道柠檬比梨更酸。

Q3：这项技术什么时候能应用到日常生活中？

A：目前InstructVLA还处于研究阶段，主要在实验室和特定环境中测试。要真正走进家庭生活，还需要解决成本、安全性、可靠性等问题。不过研究团队已经在真实环境中成功测试，证明了技术的可行性，预计在未来几年内可能会看到相关产品的商业化应用。