华为诺亚方舟实验室开发出首个能像人类一样"看懂"3D世界的机器人助手OmniEVA

这项由华为诺亚方舟实验室的刘悦程、池大峰、吴世光等多位研究者共同完成的突破性研究发表于2025年9月，研究成果名为"OmniEVA: Embodied Versatile Planner via Task-Adaptive 3D-Grounded and Embodiment-Aware Reasoning"。有兴趣深入了解的读者可以通过arXiv:2509.09332v1访问完整论文。

当你站在厨房里，看到桌子上摆着各种物品时，你的大脑会瞬间处理无数信息：哪里有空间放新买的牛奶，怎样绕过椅子走到冰箱，如何避开桌上的花瓶去拿盐罐。这些看似简单的日常判断，对机器人来说却是极其复杂的挑战。华为诺亚方舟实验室的研究团队现在开发出了一个名为OmniEVA的智能系统，它能像人类一样理解3D空间，并且知道自己的"身体"能做什么、不能做什么。

OmniEVA的出现标志着机器人智能的一个重要转折点。以往的机器人要么只能看懂平面图像，要么虽然能处理3D信息但不知道如何根据具体任务灵活运用。研究团队发现了两个关键问题：第一个问题是"几何适应性差距"，就像一个人要么只能看2D电影理解不了立体世界，要么只会看3D电影但看普通照片就懵了。第二个问题是"身体约束差距"，机器人经常制定出理论上完美但实际无法执行的计划，就像让一个身高1米5的人去够2米高的架子。

为了解决这些问题，研究团队为OmniEVA设计了两项核心创新。首先是"任务自适应3D建模机制"，这就像给机器人安装了一个智能的"视觉切换器"。当机器人需要判断桌子上哪个苹果更红时，它会专注于颜色信息，暂时忽略复杂的3D几何关系。但当它需要把一个盒子稳稳地叠在另一个盒子上时，这个切换器会立即激活3D空间理解能力，精确计算角度、距离和重心位置。

第二个创新是"身体感知推理框架"。这个系统让机器人在制定计划时始终记住自己的物理限制。就像人类在伸手拿东西时会自动考虑自己的手臂长度和灵活度，OmniEVA在规划动作时会综合考虑自己的机械臂能伸多远、关节能弯曲多少度、底盘能移动到哪些位置。这样制定出的计划不仅在理论上可行，在实际执行时也能成功完成。

一、机器人的"视觉大脑"如何工作

要理解OmniEVA的工作原理，可以把它想象成一个拥有超级视觉能力的管家。传统的机器人视觉系统就像戴着固定镜片的眼镜，要么只能看清远处的2D画面，要么只适合观察近距离的3D物体，很难在不同情况下灵活切换。

OmniEVA的视觉系统则像一副智能变焦镜头。当主人说"帮我看看桌上有几个红苹果"时，这个系统会自动调整为"2D色彩识别模式"，专注于识别颜色和数量，不会被复杂的空间几何信息干扰。但当主人说"把这个杯子小心地放在那摞书上"时，系统立即切换到"3D空间分析模式"，精确计算书堆的高度、稳定性和杯子的最佳放置位置。

这种智能切换是通过一个叫做"任务自适应门控路由器"的技术实现的。研究团队把它比作一个经验丰富的交通指挥员，根据实时路况决定哪些信息走"快车道"，哪些信息可以暂时"绕行"。当系统分析用户指令时，这个指挥员会判断当前任务更需要2D信息还是3D信息，然后相应地分配计算资源。

更有趣的是，这个系统还会"察言观色"。它不仅分析用户说的话，还会观察当前环境的复杂程度。在一个简单整洁的房间里执行"拿杯子"的指令时，系统可能判断2D视觉就足够了。但在一个堆满杂物、光线复杂的储藏室里执行同样指令时，系统会自动启用全套3D分析能力，确保能准确定位目标物品并规划安全的移动路径。

研究团队通过大量实验验证了这种自适应机制的效果。他们发现，与那些固定使用某种视觉模式的机器人相比，OmniEVA在处理不同类型任务时的准确率平均提高了1.22%。虽然这个数字听起来不大，但在机器人领域，哪怕1%的提升都可能意味着成功与失败的区别。

二、让机器人知道自己的"身体"极限

传统机器人的一个普遍问题就像是一个从未照过镜子的人，不知道自己长什么样、能做什么。它们经常制定出听起来很棒的计划："去厨房拿个杯子"，但实际执行时才发现自己的机械臂够不着高架上的杯子，或者底盘太宽无法通过狭窄的门缝。

OmniEVA的身体感知系统就像给机器人安装了"自我认知镜子"。每当它准备执行任务时，都会先"照照镜子"检查自己的状态：机械臂今天能伸展多远？关节是否灵活？底盘的宽度是否适合通过前方的狭窄过道？电池电量是否足以完成整个任务？

研究团队开发的训练方法叫做"任务与身体感知强化学习"。这个过程就像训练一个新手司机，不仅要教会他交通规则，还要让他清楚地知道自己开的车有多宽、转弯半径有多大、刹车距离有多长。在训练过程中，系统会获得两种类型的反馈：一种是"任务完成度反馈"，告诉它是否准确完成了用户的要求；另一种是"身体可行性反馈"，告诉它制定的动作计划是否符合物理定律和机械限制。

更巧妙的是，这个训练过程采用了"渐进式身体约束学习"。就像学游泳时先在浅水区练习基本动作，再逐渐游向深水区一样，OmniEVA的训练也是循序渐进的。开始时，系统主要关注是否能完成基本任务，对身体约束的要求相对宽松。随着训练的深入，系统逐渐对动作的可行性要求越来越严格，最终学会制定既能完成任务又完全可执行的完美计划。

这种训练方式的效果非常显著。在实际测试中，使用身体感知训练的OmniEVA在复杂操作任务上的成功率比普通机器人提高了28.95%到34.28%。特别是在需要精确放置物品的任务中，成功率提升更是高达43%到50%。这意味着以前十次尝试只能成功五六次的复杂任务，现在几乎每次都能成功完成。

三、从基础技能到复杂任务的完美组合

就像人类学会走路、跑步、跳跃等基本动作后，就能组合出踢足球、跳舞等复杂技能一样，OmniEVA也需要先掌握一些基础的机器人技能，然后将它们巧妙组合来完成复杂任务。

研究团队为OmniEVA设计了四项基础技能，每一项都对应着日常生活中的常见需求。第一项技能叫"Where2Go"，就像问"我应该往哪里看才能找到遥控器？"当房间里物品很多、视线受阻时，这个技能能帮助机器人选择最佳的观察角度和位置，快速锁定目标物品。

第二项技能"Where2Fit"类似于"这张桌子上哪里还能放下我的咖啡杯？"这个技能让机器人能够识别桌面或其他平面上的空闲区域，考虑现有物品的位置和尺寸，找到合适的放置空间。第三项技能"Where2Approach"更加复杂，相当于"我怎么才能靠近那张被椅子围着的桌子？"机器人需要分析环境中的障碍物，规划出一条既能接近目标又不会被卡住的路径。

第四项技能"Where2Grasp"听起来简单，实际上非常精细，就像"桌上有三个红色的球，我要拿中间那个最大的"。机器人需要根据颜色、大小、位置等多个特征准确识别目标物品，并确定最佳的抓取点。

这四项基础技能就像乐高积木的基础块，可以灵活组合成各种复杂功能。当用户要求"请帮我把厨房桌上的那个蓝色马克杯拿到客厅的茶几上"时，OmniEVA会自动将这个复杂指令分解：首先用Where2Go技能在厨房找到蓝色马克杯的最佳观察角度，然后用Where2Grasp技能精确抓取杯子，接着用Where2Approach技能规划到客厅茶几的路径，最后用Where2Fit技能在茶几上找到合适的放置位置。

研究团队在8个不同的评测标准上测试了OmniEVA的能力，涵盖了从简单的物品识别到复杂的3D空间推理等各个方面。结果显示，OmniEVA在其中7个测试中都取得了目前最好的成绩。特别是在需要3D空间理解的复杂任务中，OmniEVA的表现比现有的最好系统提升了2.3分到8.5分不等。

四、真实世界中的实际表现

理论上的成功和实际应用往往存在巨大差距，就像在驾校练车和实际上路完全是两回事。为了验证OmniEVA在真实环境中的表现，研究团队设计了一系列贴近日常生活的测试场景。

他们在一个面积达3000平方米的办公环境中设置了测试场地，这个空间包含8个不同的操作场景和95种常见的办公用品。测试内容被分为三个难度等级，就像游戏中的初级、中级和高级关卡。

初级关卡叫"大空间物品搜索"，相当于在一个大办公室里找某个特定物品。这个任务看似简单，实际上考验着机器人的空间规划能力。它需要像一个新员工熟悉办公室布局一样，快速建立环境地图，然后制定高效的搜索策略。测试结果显示，OmniEVA在这类任务中的成功率达到74.2%，比之前最好的系统提高了5.4%。

中级关卡"局部移动操作"更加复杂，包含30多个不同的测试场景。机器人需要在各种桌面配置、不同的初始位置以及各种类型、尺寸、位置的物品中完成精确操作。这就像要求一个人在不同的厨房里都能熟练地准备晚餐，每个厨房的布局、用具摆放都不相同。测试分为"拾取物品"和"放置物品"两大类，其中放置任务又根据环境复杂程度分为简单和困难两个等级。

简单的放置任务只需要考虑桌面的基本情况，比如避开现有物品找到空隙。困难的放置任务则要求机器人同时考虑桌面物品和周围椅子的位置，规划出既能完成任务又不会碰撞的复杂路径。在这些测试中，经过身体感知训练的OmniEVA表现出色，在困难放置任务中的成功率比普通方法提高了50%。

最高级的关卡"端到端配送任务"要求机器人整合所有技能，完成跨越整个办公环境的复杂任务。比如"从前台拿一份文件送到三楼会议室"这样的指令，机器人需要自主导航、识别目标、避开障碍、与环境交互等。这相当于让机器人像人类助理一样工作，不仅要有技术能力，还要有统筹规划的智慧。

特别值得一提的是，研究团队还在真实的机器人硬件上测试了OmniEVA。他们使用了一个配备双机械臂的移动机器人平台，让它在真实的办公环境中执行各种任务。从视频记录可以看到，机器人能够准确理解用户的指令，自主规划动作序列，并成功完成诸如"把纸杯放到桌子后方的空位上"和"把杯子放到会议室旁边的长桌上"等复杂任务。

五、技术创新的核心机制

OmniEVA的技术架构就像一个精密的交响乐团，每个组件都有自己的角色，但又需要完美协调才能演奏出优美的乐章。整个系统的基础是一个强大的多模态语言模型，它能同时理解文字指令、图像信息和3D空间数据。

系统的"眼睛"是一个视觉转换器编码器，它能将每一张RGB图像转换成计算机可以理解的数字序列。同时，系统还有一个轻量级的网络负责将视觉信息和语言信息连接起来，就像一个翻译官，确保视觉"语言"和文字语言能够无缝交流。

系统的"大脑"是一个自回归文本解码器，负责生成最终的动作指令。但让OmniEVA与众不同的关键在于它独特的3D信息处理方式。传统系统要么完全忽略3D信息，要么盲目地将所有3D数据都塞给处理器。OmniEVA的创新在于它会"思考"当前任务是否真的需要3D信息。

这个思考过程通过任务自适应门控路由器实现。当系统收到指令时，一个句子编码器会分析指令的语义特征，同时系统会评估当前环境的复杂程度。然后，一个多层感知器网络会综合这些信息，决定是否激活3D空间处理模块。

如果决定激活3D模式，系统会将深度图像转换为世界坐标系中的3D坐标矩阵。每个像素都被赋予一个三维坐标（x, y, z），然后这些坐标会被分割成与RGB图像相对应的小块。每个小块内的3D坐标会被平均化，最后通过正弦编码转换成系统可以处理的特征向量。

研究团队使用了一种叫做Gumbel-Softmax的技术来确保这个门控机制可以进行端到端的训练。这个技术就像一个可以学习的开关，既能做出明确的0或1的决定（关闭或开启3D模式），又能在训练过程中传递梯度信息，让整个系统不断优化。

为了防止系统的决策过于随意，研究团队还加入了一个正则化项，鼓励系统的门控决策符合一定的先验分布。这就像给系统设定了一个"常识基线"，避免它在没有明确证据的情况下随意开启或关闭3D模式。

六、训练数据的精心配置

要训练出如此智能的机器人助手，需要海量且多样化的训练数据。研究团队为OmniEVA准备了一个包含520万个样本的庞大数据集，这些数据涵盖了从基础视觉理解到复杂空间推理的各个方面。

数据集的构成就像一个精心设计的课程体系。基础课程包括通用的视觉问答数据，让系统学会基本的图像理解和语言交互能力。这部分数据包括67万个样本，涵盖了物体识别、文字阅读、区域定位等基础技能。就像教小孩子认字识物一样，这些数据帮助系统建立了对视觉世界的基本认知。

进阶课程则包括各种专门的空间推理任务。比如"物体参照"任务有51万个样本，教会系统如何根据语言描述准确定位物体。"物体部分识别"任务有40万个样本，让系统学会识别物体的不同部分及其功能。"空闲空间定位"任务有53万个样本，专门训练系统识别可用的放置空间。

最有趣的是"主动探索"数据，虽然只有1.8万个样本，但每个都是精心设计的场景。这些数据教会系统在部分可见的环境中如何选择最佳的观察位置来寻找目标物品。就像训练侦探学会从有限的线索中推断出最有价值的调查方向。

3D空间理解的训练数据更是丰富多彩，总计270万个样本。其中包括140万个3D视觉问答样本，让系统学会在三维空间中回答各种问题。110万个3D视觉定位样本教会系统根据语言描述在3D空间中准确定位物体。还有11.3万个3D子目标预测样本，专门训练系统的长期规划能力。

特别值得一提的是"3D场景想象"数据，虽然只有4.5万个样本，但每个都充满挑战性。这些数据要求系统在部分可见的环境中想象出看不见区域可能存在的物体。这就像要求一个人只看到房间的一角，就能合理猜测整个房间的布局和物品分布。

数据的制作过程也极其精细。对于视频数据，研究团队从高质量的室内场景数据源中提取连续的视角序列，然后生成对应的问答对。对于路径规划数据，他们首先将点云转换为导航网格地图，选择起点和终点，使用A*算法计算最短路径，最后根据路径的角度变化生成详细的导航指令。

七、全方位的性能评估

为了全面验证OmniEVA的能力，研究团队设计了一套包含8个公开基准测试的评估体系，就像给学生准备了涵盖各个科目的期末考试。这些测试分别针对图像理解、视频分析和3D空间推理等不同方面的能力。

在2D视觉理解测试中，OmniEVA需要处理静态图像中的各种问题，从基本的物体识别到复杂的空间关系推理。测试内容包括Where2Place（物品放置位置预测）、VSI-bench（视频空间智能评估）、PACO-LVIS（物体部分和属性识别）以及RoboRefit（机器人视觉抓取）等任务。在这些测试中，OmniEVA都取得了目前最好的成绩。

特别令人印象深刻的是，尽管OmniEVA只有80亿个参数，相对较小，但它的表现超越了许多更大规模的模型，包括320亿参数的Robobrain-2.0以及GPT-4o和Gemini-2.5-Pro等商业化的大型模型。平均而言，OmniEVA比之前的最佳系统提高了10.45分。

在3D空间推理测试中，OmniEVA同样表现出色。测试包括SQA3D（3D场景问答）、ScanQA（扫描问答）、Scan2Cap（3D场景描述）和ScanRefer（3D对象引用）等任务。在四个测试中，OmniEVA在三个方面都达到了最佳水平，分别提高了2.3分、0.3分和8.5分。

更令人惊喜的是，在3D对象定位任务中，OmniEVA仅使用文本输入和输出就达到了55.8%的准确率，显著超过了之前44.4%的最佳成绩。这意味着系统不需要借助额外的检测模块或特殊的定位工具，仅凭语言理解和推理就能在复杂的3D环境中准确定位目标物体。

在物体导航测试中，OmniEVA需要预测3D子目标位置来引导探索。在HM3D和MP3D数据集上的测试显示，OmniEVA的成功率和路径效率都超过了当前最先进的导航模型UniNavid，其中路径效率提高了5.4分。

八、身体感知训练的显著效果

身体感知训练是OmniEVA最具创新性的特色之一，这种训练方法的效果在实际测试中得到了充分验证。研究团队设计了对比实验，分别测试了使用和不使用身体感知训练的系统性能差异。

在Where2Fit（寻找合适放置空间）测试中，使用身体感知训练的OmniEVA得分为78.14，而未使用该训练的版本只有43.50分。这个巨大的差异说明，身体感知训练让系统真正学会了考虑物理约束和实际可行性，而不是仅仅从视觉角度判断哪里"看起来"适合放置物品。

更有趣的是在Where2Approach（寻找接近路径）测试中的表现。这个任务要求系统在桌子周围有椅子等障碍物的情况下，找到合适的接近位置。使用身体感知训练的系统得分为7.37，虽然绝对数值不高，但比未使用该训练的版本提高了数倍。这反映了该任务的高难度，以及身体感知训练在处理复杂空间约束时的重要价值。

在实际的移动操作任务中，效果更加显著。简单的移动放置任务成功率从47.50%提升到90.50%，提升幅度达到43%。困难的移动放置任务成功率从22.00%提升到57.00%，提升幅度高达50%。这些数据清楚地表明，身体感知训练让机器人从"看起来会做"真正变成了"实际能做到"。

不过，研究团队也诚实地报告了该方法的局限性。在Where2Grasp（物体抓取）任务中，虽然基准测试分数提高了26.59%，但实际的移动抓取任务只提升了18.7%，而且单独的身体约束奖励并没有带来显著改善。研究团队分析认为，这是因为底层的抓取策略本身还有性能瓶颈，即使高层规划更加合理，最终的执行仍然受到低层控制算法的限制。

九、智能门控机制的工作原理

OmniEVA的门控机制就像一个经验丰富的工作分配员，能够根据任务需求智能地决定是否调用3D分析能力。研究团队通过大量实验分析了这个机制的工作模式，发现了一些有趣的规律。

当用户指令中包含几何形状相关的词汇时，门控机制的激活概率会显著提高。比如"shape"（形状）、"square"（方形）、"rectangular"（长方形）等词汇的激活率高达80%、72%、78%。这说明系统学会了将几何描述与3D空间分析需求关联起来。

同样，空间动作相关的动词也会触发门控激活。"throwing"（投掷）、"go"（前往）、"away"（远离）等词汇的激活率都在62%以上。这些词汇往往涉及物体在空间中的运动轨迹或相对位置关系，确实需要3D空间信息来准确理解和执行。

相反，一些与空间几何关系不大的词汇很少触发3D模式。"many"（许多）、"nine"（九个）等数量词的激活率只有3-4%，因为计数任务主要依靠2D视觉识别，不需要复杂的3D空间分析。"beds"（床）、"pillows"（枕头）等常见物品名词的激活率也很低，说明简单的物体识别任务用2D视觉就足够了。

研究团队还展示了具体的案例分析。当用户问"我坐着的桌子是什么形状"时，系统激活门控的概率为0.73。这是因为判断桌子形状需要理解其边界和几何特征，单纯的2D视觉可能不足以准确区分"方形"和"长方形"。但当用户问"桌子上有多少个显示器"时，系统的门控激活概率只有0.39，因为这主要是一个计数任务，2D视觉能力就能很好地完成。

有趣的是，即使是同样涉及形状的问题，系统也会根据具体情况调整策略。询问圆桌形状时激活概率为0.52，比询问方桌时的0.73要低。研究团队推测这可能是因为圆形相对方形来说在2D视角下更容易识别，不太需要额外的3D信息辅助判断。

十、实际部署中的表现案例

为了验证OmniEVA在真实环境中的实用性，研究团队将其部署到了实际的机器人硬件平台上。他们使用的是一个配备双机械臂的轮式移动机器人，在真实的办公环境中进行了多项测试。

在一个典型的测试场景中，用户指示机器人"把纸杯放在桌子后方的空位上"。整个执行过程就像看一个训练有素的助理工作：首先，机器人通过摄像头观察桌面情况，识别出各种已有物品的位置。然后，系统的门控机制判断这是一个需要3D空间分析的任务，因为需要精确理解"后方"的空间概念以及评估空位的大小。

接下来，OmniEVA开始了它的"思考"过程。系统分析了桌面的三维布局，识别出几个候选的空位，然后综合考虑机械臂的工作范围、底盘的位置限制、以及纸杯的尺寸要求，最终选择了一个最优的放置位置。在整个过程中，机器人的动作流畅自然，没有出现卡顿或碰撞。

另一个更复杂的测试是"把杯子放到会议室旁边的长桌上"。这个任务需要机器人进行长距离的导航，穿过办公区域到达指定位置。OmniEVA首先分析了当前环境，规划出一条从起点到目标桌子的最优路径。在移动过程中，系统持续监控周围环境，适时调整路线以避开突然出现的人员或障碍物。

到达目标桌子后，OmniEVA再次启用其空间分析能力，评估桌面的情况并选择合适的放置位置。整个任务从开始到结束大约用了3分钟，期间没有人工干预，完全由系统自主完成。

特别值得一提的是系统的身体感知能力在实际应用中的表现。在一次测试中，系统最初选择了一个看似合适但实际上机械臂无法到达的位置。但在执行前的最后检查阶段，身体感知模块发现了这个问题，系统及时调整了放置位置，避免了执行失败。

研究团队还测试了系统处理模糊指令的能力。当用户说"找个地方放这个杯子"而没有指定具体位置时，OmniEVA会自动分析周围环境，寻找最合适的放置地点。系统的选择标准包括空间是否足够、是否容易到达、是否会影响其他物品等多个因素，最终的选择通常既合理又实用。

说到底，OmniEVA的出现标志着机器人智能向前迈进了一大步。它不再是那种只能执行预设程序的机械装置，而是真正具备了空间理解和身体感知能力的智能助手。虽然距离科幻电影中的完美机器人还有距离，但OmniEVA已经展示出了在真实环境中帮助人类完成日常任务的巨大潜力。

这项研究最大的价值在于它解决了机器人领域长期存在的两个核心问题：如何让机器人像人类一样理解3D空间，以及如何让机器人清楚自己能做什么、不能做什么。通过任务自适应的3D建模和身体感知推理，OmniEVA为未来的服务机器人、工业机器人以及各种自主系统提供了重要的技术基础。

随着技术的进一步发展和完善，我们有理由相信，像OmniEVA这样的智能系统将逐渐走进千家万户，成为人们日常生活中不可或缺的助手。它们可能会在家庭中帮助整理房间、准备饭菜，在办公室中协助处理文件、搬运物品，在工厂中执行精密装配、质量检查等任务。这个充满可能性的未来，正在一步步向我们走来。

Q&A

Q1：OmniEVA是什么？它有哪些独特能力？

A：OmniEVA是华为诺亚方舟实验室开发的智能机器人系统，它最大的特点是能像人类一样理解3D空间，并且知道自己的身体能做什么、不能做什么。它有两个核心创新：一个是能根据任务需要智能切换2D和3D视觉模式的"任务自适应3D建模"，另一个是让机器人制定计划时考虑物理限制的"身体感知推理"。

Q2：OmniEVA比传统机器人系统强在哪里？

A：传统机器人要么只能看2D图像缺乏空间感，要么虽然能处理3D信息但不会灵活运用，而且经常制定出理论可行但实际无法执行的计划。OmniEVA能智能判断什么时候需要3D分析，什么时候2D视觉就够了，而且制定的每个动作计划都考虑了机械臂长度、关节灵活度等物理约束，确保能真正执行成功。

Q3：OmniEVA的实际应用效果如何？

A：在8个公开测试中OmniEVA有7个达到最佳成绩，在复杂操作任务中成功率比普通方法提高了28.95%到50%。更重要的是，它已经成功部署到真实机器人上，能完成"把杯子放到桌子空位上"、"将物品送到指定房间"等日常任务，整个过程流畅自然，无需人工干预。