
你有没有想过一个很怪的问题:当你问AI"杯子在桌子的左边还是右边",它为什么要洋洋洒洒打出一整句话"根据图片观察,杯子位于桌子的左侧",而不是直接告诉你"左"这一个字?
这不是矫情,这是现在所有视觉语言模型的通病。
一、一个被忽略的效率黑洞
先说个可能颠覆你认知的事实:现在主流的AI视觉模型回答"左还是右""距离多少米""指出哪个点"这类问题时,走的是和写诗、编故事完全一样的生成流程。
你可能觉得,这有什么问题?模型嘛,不就该会说话吗?
问题就出在这里。
这类空间问题的答案空间其实小得可怜:选择题答案就那么几个选项,数值题是一个具体的数字,指点题是图上一个坐标。但模型偏偏要把这些简单答案,硬塞进"一个字一个字往外蹦"的文本生成机制里。
VLM(Vision-Language Model,视觉语言模型):能同时理解图片和文字,并用自然语言回答关于图片问题的AI模型,比如你给它一张照片问"这是哪里",它能用文字描述回答。
这就好比你去银行取钱,明明只需要在取款机上按几个数字键就能完成,银行却非要求你先写一封完整的申请信,说明取钱的原因、用途、心情,等工作人员读完批复之后,才能拿到钱。信写得越长,排队时间越久,而这封信的内容,其实从一开始就能被简化成几个按钮。
如果不简化会怎样?答案是:每一次问答,都要经历自回归解码的逐字生成,外加后续的文本解析,把生成的文字重新翻译回"左""右""3.5米"这样的结构化答案。这个过程不仅慢,还容易出错,比如模型本该说"3.5米"却多打了个字变成"3.5米左右(不确定)",解析脚本瞬间懵了。
这就是MJev-Spatial这篇论文想解决的核心矛盾:当答案本来就是有限选项时,为什么还要用生成无限可能性文本的方式去逼近它?
二、灵感从哪来:一个叫Jev的先行者
研究团队没有凭空发明这套思路。
Jev(一种"系统一"决策模型范式):由TypeSafe AI公司提出的理念,核心思想是让AI直接在一组预先声明好的候选答案里打分选择,而不是生成自由文本,类似于你给AI一张"选择题卷子"而不是"问答题卷子"。
"系统一"这个说法借用了心理学里丹尼尔·卡尼曼的双系统理论:系统一是直觉性的、快速的反应,系统二是深思熟虑的、缓慢的推理。研究者的判断是,很多空间判断问题根本不需要模型"深度思考",比如"椅子在桌子前面吗"这种一眼就能看出答案的问题,用系统一式的直接决策完全够用,何必动用生成式的"系统二"式输出?
MJev-Spatial这个名字里的"M"大概率就是在致敬这个Jev理念,并把它第一次系统性地应用到了空间智能这个具体领域。
三、三种不同的空间问题,怎么用同一套框架搞定
空间理解任务其实分成三大类,看起来风马牛不相及,但MJev-Spatial找到了把它们统一起来的巧妙办法。
第一类是选择题,比如"椅子在桌子前面还是后面",这种天然就是有限选项,好办,直接把每个选项当作一个"候选类别",让模型给每个候选打分,分数最高的就是答案。
第二类麻烦一点,是数值预测,比如"这两个物体之间距离多少米"。距离可以是0.01米,也可以是16384米,数值范围横跨六个数量级,总不能把每一个可能的数值都列成一个选项吧?
这里论文用了一个很聪明的两阶段设计:先粗分再细分。想象你去图书馆找一本书,你不会在几万本书里一本本翻,而是先看楼层指示牌(一楼文学类,二楼历史类),确定大区域之后,再去对应书架精确定位。
MJev-Spatial的做法是先把整个数值范围切成30个粗略的区间,这些区间的宽度不是均匀的,而是按照对数规律递增的,短距离分得细,长距离分得粗。确定落在哪个粗区间后,再在这个区间内部切成4到8个更精细的格子,最终取中间值当作答案。
如果不这样分阶段会怎样?论文里提到,如果一次性把所有精细格子摆出来,总共要有960个候选选项,模型要在960个选项里挑一个,计算量会爆炸,而且很多选项之间的差异细微到根本没有实际意义。两阶段设计把候选数量压缩到可控范围,同时保留了足够的精度。
有意思的是,论文做了个实验发现一件反直觉的事:把精细阶段的候选数从32个降到4到8个之后,虽然理论上的量化误差变大了,但模型实际预测的平均误差反而从0.3277米降到了0.3202米。
这说明候选选项太多太细,反而会让模型"选择困难",在众多相似选项里犹豫不决,降低了准确率。有时候选项少一点,模型反而能更果断地做出正确判断,这多少有点"选择悖论"的意味,就像去餐厅点菜,菜单上选项太多反而让人纠结到错过最佳点单时机。
第三类是指点任务,比如"请指出沙发上左边的抱枕在哪",这需要输出图片上一个具体的坐标点。这是三类任务里最棘手的,因为图片是二维连续空间,精确定位比数值预测还要难。
MJev-Spatial的解法是三阶段的九宫格递归裁剪。第一轮把整张图切成3乘3共9个区域,模型选出目标最可能在哪个区域;然后把这个被选中的区域从原图里重新裁剪出来,重新编码成视觉特征(这一步叫"crop重编码"),再切成9个更小的子区域,模型继续选;重复三次之后,最终锁定的小格子的中心点,就是输出的坐标。
裁剪重编码(crop re-encoding):把图片中被选中的局部区域单独截取出来,重新经过视觉编码器处理,生成更精细的视觉特征,这样模型能看清局部细节,而不只是整张图的大致轮廓。
这个设计特别值得琢磨一下为什么必须要"重新编码"而不是直接复用原图的特征。论文专门做了对比实验:如果不重新裁剪编码,而是让模型直接复用原图的视觉信息,或者只是复制粘贴之前的视觉token,RefSpatial这个基准测试的准确率会从51%暴跌到9%甚至更低。
这就像你在看一张城市地图找一家店,地图上整个城市只有巴掌大,你根本看不清具体的门牌号,必须拿着手机地图放大到那条街,才能看清店铺的招牌。如果你坚持只用那张缩略的全市地图去判断门牌号,不管你多努力地"想象"细节,信息本身就没在那张图里,你是编不出来的。裁剪重编码就是给模型"放大镜",让它能看清局部的真实像素细节,而不是逼着它凭记忆脑补。
四、打分机制:不加新参数,直接复用模型自带的能力
讲完了候选怎么构造,下一个问题是:模型怎么给每个候选打分?
通常的做法是在预训练模型后面加一个新的分类头,专门学习打分这件事。但MJev-Spatial反其道而行之,它没有加任何新的神经网络层,而是直接复用了模型最后一层注意力机制里本来就存在的查询投影和键投影。
注意力机制中的查询(Query)和键(Key)投影:Transformer模型里用来计算"哪些信息值得关注"的两组参数,通俗理解,查询相当于"我在找什么",键相当于"这里有什么",两者匹配度越高,说明越相关。
具体来说,当前的决策状态(模型综合了图片、问题和之前所有候选信息之后形成的一个"思考结果")会经过查询投影,变成一个"提问向量";而每一个候选答案的文本描述,会经过键投影,变成各自的"应答向量"。两者做点积计算相似度,相似度最高的候选就被选中。
为什么要这样做?论文给出的理由是,模型最后一层之后紧接着的是一个多层感知机(MLP),这一层的作用其实是把中间表示转换成具体的词汇预测,也就是说它是专门为"生成下一个词"服务的,这个转换过程可能会让表示丢失一些语义上的匹配信息,转而偏向词汇层面的预测习惯。
换句话说,如果让打分流程经过这个MLP层,相当于让一个本来擅长做语义判断的裁判,先去学一套写报告的格式规范,再凭着记忆去打分,判断的准确性可能会被这套格式规范带偏。MJev-Spatial选择在MLP介入之前就截取信息打分,相当于直接让裁判凭专业判断打分,不被多余的流程干扰。
这个设计带来的好处是显而易见的:不需要训练一个全新的分类头,参数量更少(论文给出具体数字是4,111,374,336个可训练参数,比某个对照模型KEV少了95,688,192个),训练成本更低。论文做了消融实验对比三种打分方式:一种是传统线性分类器,一种是叫KEV的新投影方案,还有就是这种复用原生Q/K投影的方案。
结果是没有哪一种方案全面碾压其他两种,各有各的强项,比如在RefSpatial指点任务上复用原生投影效果最好(51%),但在Where2Place这个任务上反而是线性分类器表现更好(67.99%对比59.98%)。论文最终选择了复用原生投影的方案,主要考虑是它改动最小、参数最少、训练代价最低,在没有明显劣势的前提下,工程简洁性是个加分项。
五、怎么训练这么多种不同难度的任务
讲完推理阶段的设计,还有一个绕不开的问题:训练数据这么杂,选择题、数值题、指点题混在一起,而且指点题还要三步走,中间要插入新裁剪的图片,这怎么统一训练?
论文的解法是教师强制(Teacher Forcing)配合联合阶段监督。
教师强制:训练序列模型时的一种技巧,把正确答案提前告诉模型作为"已知条件",让模型在这个基础上继续预测下一步,这样可以让多个步骤的训练在一次计算里同时完成,而不用一步步等模型自己先猜对再往下走。
具体来说,一个需要三步决策的指点问题,在训练时会把这三步的正确答案和对应的裁剪图,提前按照先后顺序排好放进同一个序列里,模型在一次前向计算里,就能同时学到这三步该怎么选。每一步的损失函数会被平均,这样一个三步的指点问题,不会因为步骤多而获得比一个一步到位的选择题更高的训练权重。
这个思路挺像学校里的"连堂课"设计。如果每道题的答案都得等老师单独批改一轮才能看下一题,那光是等待批改反馈的时间成本就高得吓人。教师强制相当于把一整套连续的作业提前准备好标准答案,让学生(模型)一次性把这套题从头到尾都做了,老师最后统一批改,大大节省了来回等待的时间。
训练数据规模方面,论文用了1230万个问答对,数据来源包括RefSpatial、SAT、SenseNova-SI、VSI-590K-image和VST-P这几个已有的空间数据集,经过了严格的清洗和去重,排除了和测试集重复或高度相似的图片。
六、为了训练效率,他们还折腾了调度算法
训练这么大规模的数据,光有好的任务设计还不够,工程上的调度也很关键。
论文发现一个问题:不同任务的样本长度差异很大。选择题一步到位,长度短;指点任务要三步,中间还要插入两次图片裁剪和重编码,长度长得多。如果直接随机打包成批次送进GPU,短的样本要陪着长的样本一起"陪跑",大量计算资源被浪费在填充的空白token上。
研究团队设计了一套"全局长度分组+跨GPU负载均衡"的调度策略,先把同一个批次里的样本按长度排序,分成长度相近的小组,再用一种叫"最长工作优先"的分配算法把这些小组派发到8块GPU上,尽量让每块GPU承担的总工作量相近。
这就像一个外卖配送站给骑手派单,如果把订单随机派发,可能有的骑手连续接到三个超远的单子,有的骑手全是附近的单子,结果近的骑手早就送完在原地等,远的骑手还在路上,整个配送站的效率被最慢的那个骑手拖累。合理的派单策略会按照路程远近做统筹分配,让所有骑手大致同时完成任务,这样配送站才能循环运转得更快。
实验数据显示,这套调度策略把训练吞吐量从每秒99.06个问答样本提升到了129.54个,提升幅度达到30.78%,同时数据填充浪费的比例从35.17%降到了1.77%。
七、最终成绩单:7项第一,速度快5.6倍
说了这么多设计细节,最后还是要看实际效果。
MJev-Spatial基于Qwen3.5-4B这个基础模型,在12个空间理解基准测试上和7个主流的生成式模型做了对比,包括Molmo2-ER、Qwen3-VL-8B-Instruct、InternVL3.5-8B等。
结果是MJev-Spatial拿到了65.64%的平均分,在全部8个被测模型里排名第一,比第二名Qwen3-VL-8B-Instruct的62.79%高出近3个百分点。更值得关注的是,它在12个基准测试里有7个都排名第一,而且在全部12个基准上都超过了自己的"原型"(也就是没做任何改造的Qwen3.5-4B自回归模型)。
在RoboSpatial VQA这个任务上,相比原始模型足足提升了22.89个百分点;在RefSpatial-Bench上提升了12.50个百分点。
速度方面的数据更亮眼。在英伟达B200这款GPU上测试,MJev-Spatial平均每次查询只需要160.6毫秒,而测试中跑得最快的另一个模型Spatial-SSRL-Qwen3VL-4B需要397.4毫秒,MJev-Spatial快了2.5倍;和它自己的基础模型Qwen3.5-4B(需要894.1毫秒)相比,更是快了5.6倍。
这意味着什么?假设你在用一个搭载了这套系统的机器人,它每秒钟能完成的空间判断次数,是原始方案的5倍多。对于需要实时反应的机器人导航、抓取等场景来说,这种速度差距直接决定了这套系统能不能真正落地使用。
八、一个意外的延伸:不用额外训练就能数清楚有几个点
论文还做了一个挺巧妙的延伸实验:原本这套三阶段指点机制只能定位一个点,但如果场景里有好几个目标(比如数一数桌上有几个苹果),怎么办?
研究者没有重新训练一个"数数模型",而是把原本的单点决策树,扩展成了一棵完整的概率树。简单说,就是把每一条可能的决策路径(从第一层9选1,到第二层9选1,再到第三层9选1)上的概率都记录下来,乘起来得到每个最终格子的综合概率,概率高的格子聚成一堆,每一堆的中心就是一个预测点。
这个思路的巧妙之处在于完全没有引入任何新的训练,只是把原本"只走一条路"的贪心决策,改成了"把所有分支都走一遍,看看哪些地方概率堆得高"。实验显示,这个改动把Point-Bench的计数成功率从19.39%(用原来那种"继续/停止"式的笨办法)提升到了38.78%,翻了一倍还多。
当然这样做计算量也会上升,完整展开要访问91个决策节点,评估729个格子。论文又加了一个剪枝技巧:只要某个第一层分支的概率低于全局最高概率的1%,就直接砍掉这整条分支,不再往下展开。这样平均每次查询的决策节点数从91降到51.10,推理时间从4.716秒降到2.638秒,快了1.79倍,而且被砍掉的那部分概率质量平均只占0.588%,几乎不影响最终结果。
九、研究团队诚实地留下了一些未解之谜
值得一提的是,这篇论文在做消融实验时呈现出不少"没有标准答案"的发现,这种诚实挺难得。
比如在对比三种候选打分方式时,论文明确写道"没有一致的赢家",复用原生投影的方案在某些任务上好,线性分类器在另一些任务上好,这说明空间理解这个领域里,不存在一招鲜吃遍天的万能设计,很多选择都是任务特定的权衡。
还有一个细节,论文做了16个注意力头的因果干预实验,逐一去掉模型里每一个独立的注意力"头",观察对最终预测的影响。结果发现各个头之间的功能高度重合,移除任何单独一个头,对整体性能的影响都很小(最大的基准分数变化只有0.20个百分点),这说明这套打分机制的鲁棒性更多来自于多个头的冗余叠加,而不是某个头承担了特殊的、不可替代的职责。
这和我们通常设想的"神经网络内部一定有专门负责某个功能的模块"的直觉不太一样,至少在这个场景下,更像是一群职责高度重叠的团队成员共同完成任务,而不是精确分工的流水线。
写在后面
读完这篇论文,最让我意外的不是速度提升了多少倍,而是那个关于候选数量和准确率的反直觉发现:把数值预测的精细候选从32个砍到4到8个,预测误差反而降低了。这多少提醒我们,在设计任何需要"选择"的系统时,选项的数量和决策质量之间不是单调的正比关系,过犹不及这件事在AI系统设计里同样成立。
另一个让我反复琢磨的细节,是那个"裁剪重编码"的设计。论文里专门测试了如果不重新裁剪、只是复用已有的视觉特征会怎样,结果掉到了个位数的准确率。这说明有些信息一旦在最初的处理阶段被压缩掉,后面无论用多聪明的办法去"回忆"或"推测",都补不回来。这是一个关于信息损失不可逆性的朴素提醒,放在很多工程场景里都适用。
这篇论文没有解决的问题其实也挺明显:它处理的还是单张或少量图片里的静态空间判断,真实世界里的空间智能往往是动态的、连续的,比如一个机器人一边移动一边更新对周围空间的理解。这套"候选打分"的框架,能不能优雅地扩展到这种持续变化的场景里,论文没有给出答案。
这或许会是下一篇论文要回答的问题。
Q&A
Q1:MJev-Spatial是什么?
A:MJev-Spatial是一种新的空间智能AI模型,它把选择题、数值预测、图片指点这三类空间理解任务统一成分类问题,通过直接给候选答案打分来做决策,而不是像传统视觉语言模型那样生成自由文本再解析,因此速度更快、延迟更低。
Q2:MJev-Spatial为什么比普通AI模型快这么多?
A:因为它跳过了逐字生成答案文本再解析的过程,直接复用模型自带的注意力打分机制给候选答案打分,一次前向计算就能完成决策。测试显示它平均每次查询只需160.6毫秒,比最快的对比模型快2.5倍,比它自己的基础模型快5.6倍。
Q3:MJev-Spatial怎么解决图片上精确指点的问题?
A:它用三阶段九宫格递归裁剪的方法,每一轮把图片切成9个区域选出最可能的那个,然后把选中区域重新裁剪并重新编码成视觉特征,再继续细分,重复三次后得到最终坐标,这样既保证精度又不需要生成坐标文本。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。