马里兰大学研究团队揭秘：机器人AI的"语言大脑"到底有多臃肿？

这项由马里兰大学计算机工程学院与思科研究院联合开展的研究，以预印本形式于2026年6月26日发布，论文编号为arXiv:2606.27755，题为《Drop-Then-Recovery: How Redundant Are Vision-Language-Action Models?》，感兴趣的读者可通过该编号查阅完整原文。

机器人正在变得越来越"聪明"。它们不再只是按照预设程序运动的机械臂，而是能够听懂人类语言指令、看懂眼前场景、然后做出相应动作的"智能伙伴"。这类能将"看"、"听"、"动"三种能力融为一体的系统，研究者称之为"视觉-语言-行动模型"（Vision-Language-Action Model，简称VLA）。

然而，这批新型智能机器人身上藏着一个鲜少被人追问的秘密：它们的"语言大脑"可能严重超标——不是不够用，而是远远过剩。

以目前主流的VLA模型为例，它们的语言处理模块通常直接从大型语言模型（比如GPT之类能写文章、写代码的AI）移植过来。这些语言模型原本是为了处理海量复杂文本而设计的，功能强大，参数众多。但机器人日常接收的指令往往非常简单，不过是"把红色杯子拿起来"或者"把包裹放到传送带上"这类短短一句话。把一个能写万字长文的"大脑"用来理解这几个字，难道不是大材小用？

马里兰大学的研究团队决定把这个直觉变成严谨的科学问题：究竟VLA模型的哪些部分是真正必要的，哪些又是可以去掉的冗余？

为了回答这个问题，研究者设计了一套名为"先丢后恢复"（Drop-Then-Recovery，简称DTR）的实验框架。这套框架的核心思路非常直接：先把模型里的某些模块"剪掉"，然后让剩下的模型重新学习做机器人任务，最后看它的表现有没有明显变差。如果剪掉一块之后模型依然表现良好，就说明那块确实是多余的；如果表现急剧下降，则说明那块是不可或缺的关键部件。

实验结果令人颇感意外。研究团队在多个主流VLA架构上、多个机器人操作任务基准上，甚至在真实工厂场景中进行了测试，得出了一个高度一致的结论：语言模块极度冗余，而视觉模块和动作执行模块则对任何删减都非常敏感。更戏剧性的是，在某些测试中，把语言模块砍掉一半之后，机器人的任务成功率不降反升。

这个发现的背后，隐藏着关于当前机器人AI设计理念和测试标准的深层反思。接下来，我们就像跟着侦探破案一样，一步步走进这项研究的核心。

---

一、机器人AI是怎么工作的，它的"大脑"有哪几块？

要理解这项研究，首先得搞清楚VLA模型的基本构造。把一个VLA模型想象成一个厨师——这个厨师需要同时使用眼睛、耳朵和双手才能完成工作。

"眼睛"对应的是视觉编码器（Vision Encoder）。摄像头拍到的画面经过这一模块处理，变成机器人能够理解的视觉信息，比如"桌上有一个红色杯子，在绿色盒子旁边"。

"耳朵"对应的是语言主干网络（Language Backbone）。人类说出的指令——"把红色杯子拿起来"——经过这一模块处理，变成模型能够理解的语言信息。这个模块通常是从大型语言模型直接移植过来的，拥有几十层的"变换器模块"（Transformer Block），每一层都在对语言信息进行深度加工和理解。

"双手"对应的是动作模块（Action Module）。它把视觉信息和语言信息综合起来，输出具体的机器人动作指令，比如"手臂向左移动3厘米，手指闭合"。

这三个模块都由一种叫做"变换器模块"的基本单元堆叠而成。每个变换器模块就像厨师食谱中的一个步骤，输入食材（上一步的信息），经过处理，输出新的食材（加工后的信息），然后传给下一个步骤。

研究团队发现，语言主干网络往往占据了整个模型参数量的绝大部分。以OpenVLA-OFT这个模型为例，其语言主干网络使用了Llama-2-7B的32层变换器模块；π0.5则使用了PaliGemma的18层。这些语言层处理的，不过是"拿起红色杯子"这样十个字以内的简单指令。而视觉模块和动作模块虽然参数量少得多，却要承担对画面进行精确理解和对动作进行精准控制的繁重任务。

这种巨大的不对称性，正是整个研究的出发点。

---

二、"先丢后恢复"——一种像做手术一样的实验方法

研究团队设计的DTR框架，本质上是一种受控的"手术实验"。这种实验的逻辑可以用医学类比来理解：假设你想知道人体某块肌肉是否真的有用，最直接的方法是先暂时"停用"它，观察人的行动受没受影响，然后通过康复训练看看能否恢复正常。

在DTR中，"手术"就是把变换器模块从模型中物理删除——不是禁用，而是真正从网络结构里删掉，让该层直接"短路"，输入信息不经任何处理直接传给下一层。"康复训练"就是让删减后的模型重新在机器人任务数据上进行微调训练，让剩余部分适应新的结构。

这个框架分两个阶段进行。第一阶段是"删减"：根据某种重要性评分，选出最不重要的几个变换器模块，将其从模型中物理移除。第二阶段是"恢复"：让删减后的模型在目标任务上重新进行微调训练，然后评估最终的任务成功率。

研究团队特别强调，衡量冗余度的关键不是"删掉之后立刻变差多少"，而是"恢复训练之后是否能回到原来的水平"。一个模块删掉之后立刻表现很差，但经过重新训练后完全恢复，说明它原本提供的功能是可以被其他模块替代的；而一个模块删掉后无论怎么训练都无法恢复，才说明它是真正不可或缺的。研究者将这种"删减后能否恢复"的能力称为"可恢复性"（Recoverability），将其与单纯的"立即重要性"区分开来。

这种区分在机器人控制领域尤为重要。普通语言任务中，单步预测出现小误差影响不大；但机器人在执行任务时，每一步的动作都建立在前一步的基础上，一个小误差会像滚雪球一样越来越大，最终导致整个任务失败。因此，研究团队坚持用任务成功率（而非单步预测误差）作为最终评判标准。

---

三、哪个模块最"可有可无"？三组实验揭示惊人差距

为了在没有任何"选择偏见"的情况下观察各模块的冗余程度，研究团队先采用两种简单粗暴的删减策略：一是"删一半"（每隔一层删一层），二是"只留2层"（只保留第一层和最后一层）。这两种策略对语言、视觉、动作三个模块分别独立进行，然后比较恢复后的任务成功率。

测试在LIBERO这个主流机器人操作基准上进行，该基准包含四个子任务套件：空间任务（测试空间位置理解）、物体任务（测试物体识别）、目标任务（测试目标理解）、长时任务（测试长序列操作）。

结果非常清晰，差异触目惊心。以OpenVLA-OFT模型为例，基准线（完整模型）的平均成功率是95.0%。对语言模块执行"删一半"操作后，模型大小缩减到原来的55.5%，计算量降至55.0%，而任务成功率不降反升，达到了98.3%。对语言模块执行"只留2层"操作后，模型缩减到仅剩16.6%的原始大小，任务成功率依然保持在95.1%，与完整模型几乎持平。

与此形成鲜明对比的是视觉模块。对视觉模块执行"删一半"操作，只减少了3.6%的参数，任务成功率却跌至83.9%；"只留2层"则更惨，成功率跌到80.2%。动作模块的情况类似，π0.5模型在动作模块"只留2层"的情况下，任务成功率从91.7%暴跌至26.2%，几乎彻底失能。

简单翻译一下这组数据的含义：从语言模块砍掉84%的参数，机器人一点事没有；从视觉模块砍掉10%，机器人就开始出问题；从动作模块稍微动动，机器人可能直接"罢工"。这个不对称的程度，超出了许多人的预期。

---

四、如何精准选择"哪些层可以删"？——GateProbe的设计逻辑

知道语言模块总体上是冗余的还不够，当你需要删掉特定的几层时，选哪几层就变得至关重要。研究团队为此设计了一种名为"GateProbe"（门控探针）的评分方法，用来衡量每一层变换器模块对任务的实际贡献。

现有的一些评分方法大多依赖简单的直觉。有的方法看每层的参数大小，参数越小认为越不重要；有的方法看相邻两层之间的信号变化是否微小，变化越小认为这层越像"透明"的，可以删掉；有的方法则干脆逐一删除每层，测量困惑度（perplexity，一种衡量语言模型混乱程度的指标）的变化。这些方法的共同问题是：它们只衡量"删掉之后立刻有多大影响"，但并不能预测"恢复训练后能否回到原来水平"。

GateProbe的思路不同。它在每一层的残差分支（也就是"加上这一层的额外处理"这个操作）上放置一个虚拟的"开关"——这个开关平时拨到"1"（完全开启），相当于正常运行；拨到"0"则等于删掉这层。GateProbe衡量的是：如果把这个开关从"1"轻轻往"0"方向拨一点点，任务损失函数会变化多少？变化越大，说明这层对任务越重要，越不应该删。

从数学角度看，这个评分是任务损失函数对"开关值"的偏导数的绝对值——可以用一次标准的反向传播（机器学习训练时计算梯度的过程）直接得到，无需修改模型结构，只需要在前向计算时记录一些中间状态。计算代价非常小，只需要对少量校准数据跑一次前向加反向传播即可，大约在H200 GPU上耗时25秒。

研究团队把GateProbe与七种现有方法进行了系统比较，包括Taylor灵敏度、Fisher信息矩阵、Hessian迹估计、余弦相似度、困惑度、连续块余弦相似度和参数幅度等方法。测试在π0.5模型上进行，针对18层语言模块分别测试了删9层、删12层、删16层、删17层四种激进程度不同的场景。

在删9层和删12层这种中等程度的删减下，GateProbe和Taylor方法表现相近，均能选出较好的保留方案。然而当删减极度激进——只保留2层（即删16层）或只保留1层（即删17层）时，Taylor方法的表现开始明显下降，而GateProbe依然稳定。在删16层场景下，GateProbe选出的方案比第二名高出3.9个百分点；在删17层场景下，差距进一步扩大到4.3个百分点。非梯度类方法（余弦相似度、参数幅度、困惑度）在所有场景下均显著落后。

这个差异的根本原因在于：GateProbe直接衡量的是"这一层对任务损失的影响"，而非"这一层对模型内部表示的影响"。在保留层数极少时，每一个选择都举足轻重，一个不够精准的评分方法会导致选错关键层，使得恢复训练再怎么努力也难以弥补。

---

五、删的粒度也有讲究——整层删、只删注意力还是只删MLP？

变换器模块内部由两个子模块组成：多头注意力机制（MHA，负责让模型"关注"输入序列中不同位置之间的关联）和前馈全连接网络（MLP，负责对信息进行非线性变换和提炼）。既然要删减，是删整层好，还是只删其中某个子模块效果更好？

研究团队在OpenVLA-OFT和π0.5两个模型上分别测试了三种粒度，结果非常有启发性。对OpenVLA-OFT而言，删整块（Block删减，成功率98.3%）明显优于只删MHA（91.9%）和只删MLP（65.6%）。只删MLP的下降尤为剧烈，说明MLP子模块承担了语言模块中更不可或缺的信息变换功能。对π0.5而言，三种粒度的成功率差异较小（93.3%到94.1%），但整块删减能压缩掉最多的参数（39.4%），性价比最高。

这个发现与附录K中的一组独立验证相互印证：研究团队发现，注意力子层（MHA）的冗余度远高于MLP子层——零样本（不经过恢复训练）直接删掉8个注意力子层，成功率从98%只降到了98%，几乎无损；但零样本删掉哪怕4个MLP子层，成功率就直接归零。这种极端不对称让研究者得出结论：整块删减结合恢复训练是最稳健的策略，而非单独针对MHA层做零样本删减。

由此，研究团队确立了DTR实验的默认策略：对语言主干网络进行整层删减，辅以GateProbe进行层的重要性排序。

---

六、这不只是实验室游戏——真实机器人工厂里的测试

研究团队将这套方法搬到了真实的工业场景中，以检验实验室结论是否在现实中同样成立。

测试平台是一台UFACTORY xArm 850机械臂，配备腕部摄像头和第三视角摄像头，运行在NVIDIA Jetson Thor边缘计算平台上，通过Meta Quest 3手柄遥控操作进行数据采集，共收集了约11万帧数据（约600次抓取动作）。所用的VLA模型是π0.5。

任务场景来自真实的仓库包裹分拣需求：机器人需要从装满软体包裹的容器中逐一抓取包裹，放置到传送带或者相邻的卡槽中。这个任务有三大挑战：包裹之间紧密堆叠且外形柔软，边界模糊难以识别；每个包裹内部有瓶状物品，外表可抓握面积有限；每次必须且只能抓取一个包裹。

实验设计了两种环境：Env 1是从网格容器抓取放到右侧传送带，Env 2是从纸箱抓取放到侧面卡槽。每种环境进行3轮共60次抓取，取平均成功率。

结果显示，删掉一半语言层（Drop-9，即从18层删至9层）后，Env 1的成功率为65.0%，略高于完整模型的63.3%；Env 2的成功率为71.7%，接近完整模型的75.0%。这与模拟环境中的实验结论高度一致：删掉一半语言层对任务表现几乎没有负面影响。

然而，当删减更为激进、只保留2层（Drop-16）时，成功率开始出现明显下降：Env 1降至55.0%，Env 2降至66.7%。

研究团队还进一步测试了六种"超出训练分布"的扰动条件，包括粉色光、绿色光、闪烁光三种照明变化，以及使用全新物品、改变容器摆放方向、去掉容器三种物理变化。结果揭示了一个重要规律：在温和的扰动下（如改变容器方向），删减一半语言层的模型与完整模型差距极小（三种模型分别为75%、70%、70%）；但在较强扰动下（如绿色光照），差距明显扩大，Drop-16的成功率降至35%，而完整模型为50%。

这说明语言模块中那些"貌似冗余"的层，可能并非完全无用——它们对于在视觉或物理条件发生变化时保持泛化能力有一定贡献，只是在标准任务条件下这种贡献被遮蔽了。

---

七、相同计算量，删减模型反而跑得更好——训练效率的意外红利

DTR框架带来了一个出乎意料但逻辑上完全合理的好处：由于模型在训练之前就已经被删小了，每一步训练的计算代价更低，在相同的总计算量预算下，可以跑更多训练步数。

研究团队专门设计了一组"计算量匹配"实验：将π0.5的基准训练设定为batch size 32、训练3万步，然后让不同程度的删减版本在保持相同总FLOPs（浮点运算量）的前提下，通过增大batch size或增加步数来匹配。

结果相当振奋人心。Drop-9（语言层从18削减至9）版本在匹配计算量后达到平均成功率92.3%，超过完整模型的91.7%。Drop-12（语言层从18削减至6）版本成功率进一步提升至93.7%，超出基准2个百分点，成为所有配置中表现最好的。Drop-16（语言层从18削减至2）版本成功率为92.6%，同样超越基准。即便是最激进的Drop-17（语言层从18削减至1）版本，成功率也达到91.0%，与完整模型相当。

换句话说，在相同的算力预算下，用一个参数更少的模型来训练，实际上比用完整的大模型更高效——不是因为"小模型更聪明"，而是因为相同的钱可以让小模型训练更多步，积累更多经验。

除了训练效率，推理速度也显著提升。在OpenVLA-OFT模型上的测试显示，删减16个语言层（DTR-16）后，单次动作生成延迟从225毫秒降至144毫秒，加速1.56倍；内存占用从14.40GB降至8.36GB，节省42%。考虑到删减后任务成功率实际上提升了（从98%到100%），失败步骤减少导致总任务步数也略微减少，综合下来端到端的任务效率提升了1.64倍。

更值得注意的是，DTR产生的是标准的、参数更少的密集模型，不需要低精度量化的专用硬件内核，也不需要稀疏矩阵运算的特殊支持，在任何硬件上都可以直接受益。这与量化（需要特殊低精度算子支持）和结构化稀疏剪枝（需要特定稀疏模式匹配硬件）形成鲜明对比。研究团队在附录中还专门讨论了边缘机器人平台（如Jetson Thor）上的部署注意事项，指出这种"硬件无关"的加速方式对于现场部署具有重要的实用价值。

---

八、四种主流VLA模型全都如此——这是普遍规律而非偶然

为了确认这一现象不是某个特定架构的特例，研究团队在四种主流VLA模型上重复了"删一半语言层"的实验，全部采用相同的批次大小和训练步数。

四种模型分别是：π0.5（双流流匹配架构，PaliGemma语言主干，18层）、OpenVLA-OFT（Llama-2-7B语言主干，32层，MLP动作头）、GigaBrain-0（PaliGemma2-3B语言主干，26层，扩散式动作头，约3.5B参数）、Lingbot-VLA（Qwen2.5-VL-3B语言主干，36层，流匹配解码器，约4B参数）。这四种模型覆盖了不同的骨干网络家族、不同的模型规模和不同的动作预测设计。

结果高度一致：四种模型在删掉一半语言层后全部能匹配或超越完整模型的基准成功率。OpenVLA-OFT回弹幅度最大，从95.0%上升至98.3%，提升了3.3个百分点。GigaBrain-0和Lingbot-VLA的变化幅度较小，但均能与基准持平或略有超越。

研究者认为，这种跨架构、跨规模的一致性表明，语言模块的冗余不是某个特定设计决策造成的，而是一种结构性矛盾的体现：VLA模型继承了为处理复杂长文本而设计的大型语言主干，但实际上只需要它处理简短的任务指令，这种"容量与需求"之间的不匹配在当前主流架构中普遍存在。

---

九、当任务变得更难——语言冗余的边界在哪里？

既然语言模块在标准LIBERO测试中表现得如此冗余，是否意味着机器人训练根本不需要那么多语言理解能力？研究团队通过两个更具挑战性的测试基准来进一步审视这个问题。

第一个是LIBERO-Plus，这是LIBERO的增强版，在原始任务基础上叠加了八类扰动：背景变化、纹理变化、视角变化、机械臂初始位姿变化、语言指令变化、光照变化、噪声干扰和布局变化。第二个是RoboTwin 2.0，专注于双臂协同操作，任务包括敲打积木、按响铃铛、抬起锅子、移动扑克牌、开微波炉、摆放双鞋和拨动开关，每个任务都有"简单版"（清洁环境）和"困难版"（随机化环境）两种变体。

在LIBERO-Plus上，语言冗余的优势有所收窄。删掉9层后的平均成功率下降了3.8个百分点（从81.4%降至77.6%）。引人注意的是，下降最大的子类别不是语言扰动类（只降了5.1），而是机械臂初始位姿扰动类（降了10.6）。这意味着语言层的削减不只影响语言理解能力，还影响了模型对不同物理起始状态的适应能力，说明这些语言层并非纯粹在做"语言理解"，而是对整体的泛化能力有所贡献。

在RoboTwin 2.0上，"简单版"任务在删9层后平均成功率只下降了0.6个百分点，几乎感知不到；但"困难版"任务下降了6.6个百分点，且随着删减加剧而急剧恶化。在"敲打积木"困难版中，删16层后成功率从16%降至3%；"按响铃铛"困难版从50%降至48%但在删12层后先升后降；"开微波炉"困难版从60%降至8%。

这个对比揭示了一个重要规律：当任务本身难度较低、环境条件稳定时，语言层是高度冗余的；但当任务需要在更多样化的条件下泛化时，那些"貌似冗余"的语言层实际上在悄悄提供鲁棒性支撑。它们并不是在做复杂的语言推理，而更像是在为模型提供一种"宽泛的背景知识底座"，在标准条件下用不上，但遇到陌生情况时就发挥了稳定作用。

---

十、这项研究告诉我们什么，关于当前机器人AI的根本问题

归根结底，这项研究揭示的不只是"语言层可以删掉"这么简单的工程结论，背后指向的是当前机器人AI研究生态中的两个更深层次的问题。

第一个问题是**容量分配失衡**。当前主流VLA模型的设计策略是"直接继承大型语言模型的完整结构"，这确实是一种简单有效的知识迁移方式，但也带来了严重的容量浪费。语言主干网络占据了模型80%以上的参数，却只需要完成最简单的语言理解任务。与此同时，对任务成败影响最大的视觉模块和动作模块，却在资源分配上相对薄弱。研究团队认为，未来VLA架构的设计应当更精细地根据各组件的实际需求来分配容量，而不是简单地"把语言大脑整个搬过来"。

第二个问题是**测试基准的局限性**。语言模块之所以表现得如此冗余，很大程度上是因为现有标准测试基准（包括LIBERO）中的任务指令太简单、太固定，不需要深度的语言理解能力。"把红色杯子拿起来"和"把蓝色盒子放到橙色碗左边"这类指令，两三层语言处理就足够了。如果要真正测试VLA模型的语言理解能力，需要设计更复杂的指令，比如涉及空间关系推理、条件判断、多步骤语言规划的任务。研究团队明确呼吁：未来的机器人测试基准应当对语言能力提出更严格的要求，否则当前的高成功率可能只是反映了"语言能力被严重浪费"，而非"语言能力被充分利用"。

说到底，这项研究做的是一件非常务实的工作：用"先做手术、再看恢复"的方式，系统地量化了机器人AI每个组成部分的真实必要性。发现语言大脑极度冗余、视觉和动作模块不可或缺，这个结论既对今天的工程师设计更高效的机器人AI有直接的指导意义，也对整个领域"我们到底在评测什么、我们的基准是否真的有挑战性"这个根本问题提出了清醒的质疑。

机器人AI的"语言大脑"到底有多冗余？研究给出了一个令人印象深刻的答案：在当前主流任务条件下，砍掉一半，完全没问题。这不是在说语言不重要，而是在说——当前的机器人任务，还远没有难到需要用那么多语言能力来对付。

有兴趣深入探索原始数据和方法细节的读者，可以通过arXiv编号2606.27755查阅完整论文，或访问研究团队公开的代码库（GitHub: s1ghhh/VLADrop）复现实验。

---

Q&A

Q1：DTR方法删减语言层后，机器人任务成功率为什么反而会提升？

A：删减语言层后，模型参数减少，在相同计算量预算下可以跑更多训练步数，积累更多任务经验。同时，较小的模型对当前简单的机器人指令任务而言反而更"专注"，不会被过多语言层的冗余计算干扰，因此在某些场景下任务成功率有所提升，OpenVLA-OFT就出现了从95.0%上升到98.3%的情况。

Q2：GateProbe和其他重要性评分方法相比有什么具体优势？

A：GateProbe直接衡量每一层对任务损失函数的灵敏度，而非仅看层内信号变化或参数大小。在只保留2层或1层这种极端删减场景下，现有方法（如Taylor、余弦相似度）的准确性明显下降，而GateProbe仍能稳定选出更好的保留方案，在"只留2层"场景下比第二名高出近4个百分点，计算代价仅需25秒完成一次前向反向传播。

Q3：VLA模型语言模块冗余的发现对机器人AI未来的设计有什么影响？

A：这个发现说明当前VLA模型直接继承完整大型语言模型的设计策略存在严重的容量浪费。未来的架构设计应更精细地按需分配各组件容量，同时机器人测试基准也需要设计更复杂的语言指令任务，才能真正考验模型的语言理解能力，避免用"过于简单的考题"掩盖模型的真实能力边界。