GroundingPI：当机器人学会先看清楚再动手

你有没有想过一个问题：一个能和你聊天、能写代码、知识渊博的AI，为什么让它去控制一个机械臂抓一个杯子，经常会抓歪？

这听起来有点反直觉。毕竟这些大模型能通过各种考试，能解释量子力学，怎么连"杯子在哪里"这种简单问题都答不准？

答案藏在一个被长期忽视的环节里：这些AI大多是用来聊天和看图说话的，它们擅长说出"这是一个杯子"，但未必能精确说出"杯子的把手在图像里第137个像素到152个像素之间"。而机械臂要抓东西，恰恰需要的是后面这种精确到像素级别的信息。

这就是XPeng、北大、港大等机构联合搞出来的GroundingPI要解决的问题。这篇论文提出了一个40亿参数的"定位专家"模型，专门练就一身精准指物的本领，然后拿去喂给自动驾驶和机器人系统，结果发现：光是把"看得准"这件事做好，就能让下游的驾驶和抓取任务表现大幅提升。

收拾桌子之前，你得先认出哪个是杯子

论文里举了一个特别朴素的例子：收拾一张乱糟糟的桌子时，你会先找到那个杯子和它的把手，然后才决定怎么抓、怎么搬。先知道"在哪里"，才能决定"怎么做"。

这个顺序听起来天经地义，但现在主流的机器人大模型，也就是VLA模型（视觉-语言-动作模型：一种能同时处理图像、文字指令并输出机器人动作的AI系统，比如知名的π0和OpenVLA），还有WAM模型（世界-动作模型：通过预测未来画面变化来理解物理世界运作规律，进而指导动作生成的模型），大多是直接拿通用的视觉语言模型或者视频生成模型改造而来的。

问题是，这些通用模型天生不是为"精确定位"这件事优化的。

论文给出了一组很扎心的数据。在一个叫Dense200的密集物体检测测试集上（专门考验在拥挤、密集场景里精确框出每个物体的能力），通用模型Qwen3-VL-4B只能拿到14.02分（满分100），而就连号称当下最强的GPT-6 Astra也只有65.04分。相比之下，GroundingPI拿到了74.53分，比Astra还高出将近10个点。

这意味着什么？想象你在一个塞满杂物的抽屉里找一个特定的螺丝刀，周围全是形状相似的工具。一个"看得不够准"的AI，可能会把相邻两个工具的边界框混在一起，或者干脆漏看了小的那个。如果不解决这个问题，机器人伸手去抓的时候，抓偏的概率会直线上升，而这种偏差恰恰是在拥挤场景和微小物体上最严重，偏偏这又是现实世界里最常见的情况。

研究者们的判断是：与其指望一个无所不能的通用大脑顺便把"精确看物体"这件事做好，不如单独训练一个专门擅长"看"的模型，再把它接到下游的驾驶和机器人系统里去。这就是GroundingPI的出发点。

一套通用语言，专门用来描述"在哪里"

GroundingPI最底层的设计思路，是把所有和"定位"相关的任务，统一成一种语言。

具体来说，模型会把图像坐标量化成1000个离散的数字格子，从<0>到<999>，这些数字格子和普通的文字词汇一起放进同一个词表里。

坐标词表：把连续的图像坐标（比如像素位置127.6）转换成一组固定的、有限的数字符号（比如<128>），这样模型就能像说话一样，用生成文字的方式"说出"一个物体的位置。

这个设计的巧妙之处在于，不管是框出一个物体的边界框、指出一个点、识别一段文字、还是在GUI界面上点击一个按钮，统统可以用"这里有个标签，后面跟着几个坐标数字"这种格式来表达。打个比方，这就像是给所有不同类型的空间任务发了同一张身份证，不管你是要定位猫、定位文字还是定位按钮，模型说话的"语法"是一致的，区别只在于说的内容。

如果不这样统一，会发生什么？每种任务都得单独设计一套输出格式，模型学起来更碎片化，也更难在不同任务之间迁移已经学到的空间感知能力。统一的坐标语言让模型可以把"学会精确定位"这件本事，在检测、指代、OCR、GUI点击等各种场景里反复复用。

GroundingPI的架构也不复杂：一个叫MoonViT-V2的视觉编码器负责"看懂"图像，接一个两层的投影器把视觉信息转换成语言模型能理解的格式，最后交给一个Qwen3-4B的语言解码器，用自回归的方式（一个词一个词往外蹦）把结果说出来。整个模型大约48亿参数，在今天动辄几百亿参数的大模型里，这个体量属于相当轻巧的级别。

训练一个"看得准"的模型，靠的是三步走外加一个自我纠错的裁判

光有统一的语言格式还不够，真正让GroundingPI变得精准的，是它的训练过程。

整个训练分成三个大阶段。第一阶段叫基础视觉语言训练，先让模型学会基本的看图说话能力，积累广泛的常识。第二阶段叫坐标对齐，也就是监督微调（SFT：Supervised Fine-Tuning，用人工标注好的数据，手把手教模型该输出什么），专门针对8类空间任务进行强化，包括检测、GUI定位、指代表达定位、OCR等等。

第三阶段是最有意思的，叫强化后训练，用的是一种叫GRPO的算法。

GRPO（Group Relative Policy Optimization，组相对策略优化）：一种让模型自己生成多个候选答案，然后互相比较打分，挑出相对更好的答案来强化学习的训练方法，不需要额外训练一个独立的打分模型。

具体做法是，针对同一张图片和同一个问题，模型会生成8个不同的候选答案，然后用一套精心设计的打分规则给这8个答案排名，分数高的答案会被"鼓励"，分数低的会被"抑制"。

这套打分规则挺讲究的。对于框定位任务，有两套互补的指标：一套叫"集合完整性"，专门看模型有没有漏掉该框出的物体；另一套叫"严格定位"，专门看框得准不准、有没有重复框、有没有框得过大。两套指标按0.7和0.3的权重加权组合。

对于OCR任务（光学字符识别，也就是从图片中认出文字），打分规则还要考虑文字内容对不对、文字所在区域框得准不准，两者要同时满足才算高分。

这套机制很像请了一个挑剔的编辑来审稿。如果只检查"有没有提到这个人"，编辑可能会放过一篇东拉西扯、什么都提了一嘴但没有重点的稿子；如果只检查"写得精不精炼"，又可能漏掉遗漏重要信息的稿子。GroundingPI的做法是让两个编辑同时审稿，一个专门挑"漏了什么"，一个专门挑"准不准、啰嗦不啰嗦"，两边意见综合起来才算数。如果不这样双重把关，模型很容易在"多框一些保证不漏"和"少框一些保证精确"之间陷入一边倒的极端。

跟44个对手打擂台，34个考场逐一过招

说了这么多设计思路，GroundingPI到底表现如何？

论文做了一次相当扎实的横向对比：拿GroundingPI和44个基线模型，在34个基准测试上比拼，这些测试覆盖了11种不同的感知能力，从常见物体检测、密集小物体检测、指代定位、物体指点、机器人空间定位、OCR、GUI界面定位、文档版面分析，到视觉提示定位，几乎能想到的"看图找东西"场景都涵盖了。

比拼的对象里既有专门的检测模型（比如GroundingDINO），也有各种规模的通用视觉语言模型，包括千亿参数级别的Qwen3.7-Max、Kimi-K3，以及被论文反复拿来对照的GPT-6 Astra。

最终结果是，GroundingPI在这34个测试上平均拿到73.68分，而体量大得多的GPT-6 Astra平均是71.54分。

这里有个细节特别值得注意：GroundingPI并不是在所有测试上都赢。比如在TotalText这个场景文字识别测试上，GroundingPI拿49.32分，反而不如GPT-6 Astra的53.55分；在VisDrone这个无人机航拍的密集小目标检测上，也落后于几个对手。论文对此很坦诚，没有包装成"全面碾压"，而是说这体现了"整体优势不代表处处领先"。

但在最硬核的几个指标上，GroundingPI的表现相当亮眼。在物体指点任务（Object Pointing，要求模型直接给出一个落在目标物体内部的坐标点，而不是框出整个边界）上，GroundingPI在7个测试中的6个拿到第一，在HumanRef这个人物指代定位测试上拿到88.56分，远超GPT-6 Astra的83.01分。

| 测试维度 | GroundingPI | GPT-6 Astra | 差距 |

|---|---|---|---|

| Dense200密集检测 | **74.53** | 65.04 | +9.49 |

| HumanRef人物指代 | **88.56** | 83.01 | +5.55 |

| RoboSpatial机器人空间定位 | **73.77** | 65.69 | +8.08 |

| SROIE票据OCR | **72.47** | 53.57 | +18.90 |

| M6Doc文档版面 | **74.82** | 60.59 | +14.23 |

更有意思的是输出效率的对比。GroundingPI在COCO数据集上，平均每个框只需要7.6个token（模型输出的最小文字单位），而另一个对比模型SEED1.5-VL需要148.8个token，差距接近20倍。这意味着GroundingPI不仅定位得准，还说得更"简洁"，这对需要快速反应的机器人控制场景来说很重要。

光是"看得准"，就能让机器人和汽车都变聪明

理论上说得再漂亮，终究要落地到实际任务里才算数。论文接下来做的事，就是把GroundingPI塞进自动驾驶和机器人系统里当"眼睛"，看看下游任务表现会不会因此改善。

这里有个关键的实验设计：为了确保公平对比，研究者在每个下游任务里，固定了动作执行模块的架构、训练数据量和训练预算，唯一变化的变量只有"用哪个模型来提供视觉感知"。这样做是为了排除其他因素的干扰，确保观察到的差异真的是来自感知能力的强弱，而不是因为用了更多数据或者更复杂的动作网络。

在自动驾驶方面，GroundingPI被改造成一个轨迹预测器，输入当前摄像头画面和历史车辆状态，输出未来三秒内六个时间点的位置坐标。在nuScenes这个自动驾驶基准测试上，GroundingPI的平均开环L2误差是0.296米，比专门做自动驾驶的Qwen3-VL-4B（0.301米）和RynnBrain（0.308米）都要低。

这个提升幅度看起来不大，但论文有一句值得玩味的话：这说明专门为具身智能设计的模型，不一定天然就拥有最适合驾驶任务的感知能力。换句话说，"专用"不代表"更强"，有时候一个在基础感知上练得更扎实的通用定位模型，反而能后来居上。

机器人抓取方面的实验更有说服力。研究者在RoboTwin 2.0（双臂桌面操作基准）和RoboCasa-GR1（人形机器人精细操作基准）两个场景下进行测试，对比了四大类预训练模型：通用视觉语言模型、视频生成类骨干网络、专门的定位模型，以及专门的具身基础模型。

结果显示，GroundingPI在6项评测中的5项排名第一，尤其是在全部4个分布外泛化测试（Out-of-Distribution，简称OOD，指测试条件和训练时见过的场景不一样，考验模型的真实泛化能力而不是死记硬背）中全部夺冠。

在RoboTwin2.0的"干净场景训练、随机场景测试"这个最考验泛化能力的设置下，GroundingPI达到17.60%的成功率，第二名Rex-Omni只有14.10%，相对提升幅度接近25%。

这个结果背后有一层逻辑值得琢磨。想象一个厨师，如果他只在固定的一个厨房里练过刀工，换一个灯光不同、台面材质不同的厨房，他可能会手生。但如果他练的是"认清食材边界、精确下刀"这种底层功夫，换个厨房依然能发挥。GroundingPI的优势恰恰体现在这种场景变化下依然稳定的能力，而这正是因为它的训练重点就放在了"精确空间感知"这个底层能力上，而不是记住某个特定场景下该怎么做。

数据减半，效果反而超过别人用四分之三

论文里还有一组数据特别打动人，关于"数据效率"的实验。

研究者在RoboCasa-GR1上，只用25%、50%、75%、100%四种不同比例的训练演示数据来训练各个模型，其他条件保持不变，看谁能用更少的数据达到更好的效果。

结果是，GroundingPI只用一半的数据（50%），成功率就达到28.75%，超过了RynnBrain用四分之三数据（75%）才达到的27.75%。

这个发现很有意思，它说明一个具备精确感知能力的"底座"模型，能让后续用来教机器人学动作的数据，更专注于"怎么做"这件事本身，而不用费力气去补"哪里是目标"这种本该一开始就解决掉的问题。

打个比方，如果你要教一个新员工做财务报表，但这个员工连Excel的基本操作都不熟悉，你得先花时间教软件操作，才能开始教真正的财务逻辑。如果这个员工来的时候已经是Excel高手，你所有的培训时间都能直接用在业务本身上，自然事半功倍。GroundingPI相当于给机器人训练过程省下了"先学会看懂环境"这一步的大量成本，让有限的动作演示数据能更专注地教会机器人"怎么动"。

如果不先解决感知这个底层问题，直接把全部训练精力压在动作学习上会发生什么？论文指出，稀缺的动作数据可能被迫同时承担感知学习和动作学习两种职责，而这两者本身的学习难度和数据需求是不一样的，混在一起学，效率自然打折扣。

到底哪种训练数据最管用：密集检测是定海神针，OCR是隐藏的催化剂

论文还做了一系列细致的消融实验（Ablation Study：通过逐一移除或替换某个组件，观察性能变化来判断该组件重要性的实验方法），试图搞清楚到底是训练规模重要，还是训练数据的"配方"更重要。

先看规模。研究者让训练数据的量级从88.4B（十亿）token逐步增加到221B token，观察感知能力和下游机器人任务表现的变化。结果显示两条曲线几乎是同步上升的，感知分数从61.69涨到73.68，机器人在分布外场景下的成功率从26.59%涨到33.38%。这说明单纯堆数据规模，确实能同时提升"看得准"和"干得好"这两件事，而且泛化能力对感知质量的提升最为敏感。

再看配方。研究者把训练数据拆成六大类：基础检测、密集检测（在拥挤场景里精确区分每个物体）、指代表达（根据文字描述找目标）、基础指点、机器人空间指点、以及OCR/版面/GUI这一大类辅助任务，然后做"留一法"实验，每次拿掉一类，看性能掉多少。

结果发现，拿掉密集检测这一类，机器人成功率掉了4.67个百分点，自动驾驶误差也明显上升，是几类数据里影响最大的之一。研究者给出的解释是：无论是机器人操作面对的拥挤桌面，还是自动驾驶面对的远处密集车流，本质上都需要同一种能力，就是在小目标、密集排列的场景里精确分辨每一个个体的边界。这两个看似毫不相关的领域，底层需要的感知能力居然是相通的。

更让人意外的是OCR这一类任务的作用。拿掉包含OCR的那一组数据，机器人任务的性能下降幅度是所有消融实验里最大的，达到5.33个百分点，但如果只用OCR这一类数据单独训练，效果却是最差的。

研究者给出的猜想是，OCR任务天然要求模型对文字的笔画边界做极其精细的区分，同时还要把这种精细的视觉区域和具体的文字语义绑定起来，这相当于一种"局部图像配文字说明"的训练任务。这种训练可能悄悄强化了模型底层视觉特征的精细程度，进而放大了密集检测等其他空间监督信号的效果。

这个发现有点像学做菜时顺带练出来的刀工。你本来是为了学会认字才去练习辨认各种字体的笔画走向，结果这种高强度的"抠细节"训练，意外地让你在切菜摆盘这种完全不相关的精细操作上也变得更熟练了。当然，论文自己也强调，这只是一个有数据支撑的假设，具体的因果机制还需要更严格的对照实验去验证。

系统1和系统2：给机器人配一双专门负责"看"的眼睛

论文最后提出了一个颇有启发性的设计理念，借用了心理学里"双系统"的说法。

系统1/系统2：源自心理学家丹尼尔·卡尼曼的理论，系统1指快速、直觉式、不需要深思熟虑的反应，系统2指缓慢、需要逻辑推理的深度思考。在机器人领域，这个概念被借用来区分负责快速感知执行的模块（系统1）和负责复杂规划推理的模块（系统2）。

研究者的观点是，像GPT-6 Astra这类知识渊博、推理能力强的大模型，更适合承担"系统2"的角色，负责制定复杂计划、理解长远目标；而GroundingPI这种专精于精确空间感知、输出简洁快速的模型，更适合承担"系统1"的角色，负责在具体执行时刻快速而准确地告诉机器人"目标在哪里"。

论文里有个类比挺贴切：这就像一个编程助手，哪怕它的推理能力再强，如果写出来的代码老是运行不了，那所有高级的推理都没有实际价值。机器人的执行层同理，如果连"目标物体在哪"都判断不准，再高明的任务规划也落不了地。

需要说明的是，这个"系统1配系统2"的协同架构目前还只是一个设计构想，论文里并没有真的搭建一个完整的双系统闭环控制器去验证延迟和整体表现，这一点论文自己也在局限性部分做了说明。

论文也坦诚列出了GroundingPI还没解决的问题：在极高IoU（交并比，衡量预测框和真实框重合程度的指标）要求下的边界精度、TotalText这类复杂艺术字体的OCR识别、FSC147视觉提示任务，以及和顶级GUI定位模型相比，依然存在差距。自动驾驶部分目前也只做了开环评测，没有真正跑过闭环控制。

---

写在后面

读完这篇论文，让我印象最深的不是那些漂亮的跑分，而是研究者反复强调的一句话：感知应该先于动作被学会。

这句话听起来朴素，但在当下这个"大模型什么都能做"的叙事里，其实是一种逆流而动的判断。过去几年，大家似乎默认了一个假设：只要模型足够大、知识足够广，所有下游能力都会自然涌现出来，包括精确的空间定位。GroundingPI用数据反驳了这个假设，它证明了一个体量只有4B的专精模型，在"看得准"这件事上能打败体量大几十倍的通用模型，而这种优势能实实在在转化成机器人抓取成功率的提升。

另一个让我意外的细节是OCR的"催化剂效应"。一个本来被认为是边缘任务的文字识别训练，居然能显著放大其他空间感知任务的效果。这让我联想到人类学习里一些类似的现象：有时候一项看似不相关的技能训练，会意外提升另一项核心能力，可能是因为它们在更底层共享了某种基础认知机制。这种"跨任务的隐藏联系"，或许值得在更多AI训练场景里被重新审视。

论文没有解决的问题也挺诚实地摆在那里：闭环控制表现到底如何，双系统架构真正搭起来是什么样子，这些都还是开放题。如果一个负责精确感知的"系统1"和一个负责复杂推理的"系统2"真的协同工作起来，机器人会不会迎来下一波质变？这个问题，恐怕还得等下一篇论文来回答。

Q&A

Q1：GroundingPI是什么？

A：GroundingPI是XPeng、北大、港大等机构联合推出的40亿参数定位基础模型，专门用来精确识别图像中物体的位置和边界，并作为视觉感知骨干接入自动驾驶和机器人系统。

Q2：GroundingPI和GPT-6 Astra相比表现如何？

A：在34个基准测试的平均得分上，GroundingPI达到73.68分，略高于体量更大的GPT-6 Astra（71.54分），但在部分任务如艺术字体OCR识别上仍落后于Astra。

Q3：GroundingPI对机器人抓取任务有什么实际帮助？

A：在RoboTwin2.0和RoboCasa-GR1测试中，GroundingPI在多数场景下成功率排名第一，尤其是在所有分布外泛化测试中全部夺冠，且用一半训练数据就能超过其他模型用四分之三数据的效果。