AI搭积木：让大模型学会像小孩一样理解三维空间

先说一个让人挺意外的实验结果。

研究人员找来一堆图片，画着一个用积木搭出来的3D结构，还标了个箭头，问题很简单：从箭头指的方向看过去，这个积木堆长什么样子？给四个选项，选一个就行。

31个人做了这套题，平均准确率95%。

然后让GPT-5来做同样的题，准确率只有36.7%。Gemini-2.5-flash更低，30%。开源模型Qwen2.5-7B呢，20.8%，跟瞎蒙差不了太多。

这事儿有点反常识。要知道这些大模型能写代码、能读论文、能通过各种复杂的考试，怎么会在一个"从箭头方向看积木"这种小孩子玩具级别的问题上翻车成这样？更离谱的是，翻看GPT-5的答题过程，你会发现它煞有介事地列了一堆推理步骤，把积木的行列都标出来了，结果最后给出的答案还是错的。它不是不会推理，它是压根没搞懂这个三维结构到底长什么样。

这就是这篇论文想解决的问题：大模型的空间智能。

空间智能不好在哪

先解释一下什么叫空间智能。

空间智能：指的是从一张2D图片里，在脑子里重建出这个场景真实的三维结构，并且能推理这个结构在不同角度、不同变换下会是什么样子的能力。

人类干这件事毫不费力。你看一眼桌子上的杯子，立刻就知道它是圆柱形的，从背后看应该是什么样子，就算杯子被挡住一半，你也能脑补出完整的形状。但对大模型来说，这件事出奇地难。

之前学界想解决这个问题，主要走两条路。一条是改模型架构，加个专门处理3D特征的模块，或者往视觉编码器里塞一些"空间token"。另一条是设计专门的任务来训练模型，逼它学会空间推理。

但这两条路都绕不开一个大坑：数据。

要教模型理解真实世界的三维结构，你得先有真实世界场景的深度标注、物体位置标注、姿态标注……这些标注从哪来？要么靠人工一帧一帧标，要么靠深度估计模型、分割模型这些"外部工具"自动生成。人工标注贵得吓人还慢得要死，机器自动生成的标注又常常出错，用错误的标注去训练模型，相当于找了个近视眼老师来教你看东西，教出来的学生能好到哪去。

这就好比你想教一个从没见过大海的孩子理解"潮汐"这个概念，你要么亲自带他去海边观察三个月的潮起潮落，成本极高；要么给他看一堆网上找的、可能拍摄角度不对甚至张冠李戴的图片，教出来的理解全是歪的。如果这两条路都走不通，那还剩什么路？

研究者们这次换了个思路，回到了发展心理学。

从搭积木说起

心理学研究早就发现一件事：小孩子的空间认知能力，很大程度上是通过玩积木锻炼出来的。

搭积木这件事，表面看是小孩子的游戏，背后藏着三种核心的空间能力。

第一种叫空间组合能力，就是看到积木堆的一部分，你得脑补出完整的三维结构，包括那些被挡住看不见的积木也得推理出来必然存在。第二种是心智模拟能力，也就是想象这个积木堆转个方向、翻个面之后会变成什么样子，这个过程完全在脑子里进行，不需要真的动手转。第三种叫空间整合能力，就是当两堆积木拼在一起的时候，你得能预判拼接之后整体会长什么样。

这三种能力合在一起，基本就是空间智能的核心构成。研究团队想通了这一层，于是提出了这篇论文的核心方案：与其花大价钱去标注真实场景，不如让模型也从"搭积木"这种最基础的空间练习开始学起。

于是就有了SpatialBlock-15k

SpatialBlock-15k：一个完全由计算机合成生成的数据集，包含15000道积木搭建相关的问题，专门用来训练和测试大模型的空间推理能力。

这个数据集最大的好处是，它是合成的。合成意味着什么？意味着你可以精确控制每一个积木的位置、颜色、朝向，生成过程完全自动化，不需要人工标注，也不依赖任何可能出错的外部感知模型。想要多少数据，就能造多少数据，而且每一条数据都是干净准确的。

这就好比学开车，与其一上来就直接上高速跟真实车流较量（成本高、风险大、还容易学歪），不如先在空旷的驾校场地里反复练倒车入库和侧方位停车。场地是"假的"，但方向盘怎么打、车感怎么找，这些底层技能是真实的，练熟了之后照样能开上真正的高速公路。如果一开始就没有这种低成本的"练习场"，那么大模型很可能永远学不会最基础的空间判断，因为真实世界的复杂场景根本不给它试错和反复练习的机会。

具体来说，这15000道题被拆成三大类，对应前面提到的三种空间能力。

第一类叫3D到2D投影题：给你一个三维积木结构和一个观察方向，让你判断从这个方向看过去，二维图像应该是什么样子。这个任务的难点在于，模型不仅要在脑子里把三维结构立起来，还得处理"遮挡"问题，判断哪些积木在新的视角下会被挡住看不见。

第二类叫视角变换题：给一个三维结构，问它顺时针转270度之后变成什么样，或者上下翻转之后变成什么样。这考验的是模型在变换过程中，能不能保持所有积木相对位置的准确性，不能凭空多一块少一块，也不能位置搞乱。

第三类叫结构组合题：给两个独立的积木结构，问它们拼在一起之后整体形状是什么。这需要模型判断两个结构接触的位置，然后推理出拼接后的完整样子。

光有这三类题还不够。研究者们又加了一层设计，叫颜色线索扩展。

为什么要加颜色

前面说的三类题，积木都是单一颜色的，逼着模型只能靠纯粹的几何关系去判断，不能靠颜色投机取巧。但现实世界不是这样的，真实场景里到处是五颜六色、形状各异的物体。

人在理解复杂场景的时候，会本能地找一个视觉上特别显眼的东西当"锚点"，然后围绕这个锚点去判断其他物体的相对位置关系。你在一个陌生的商场里找路，大概率不会记住每一根柱子的编号，而是记住"那家红色招牌的奶茶店"，然后以它为参照物判断电梯在哪个方向。

研究者们把这个人类习惯搬进了积木任务里。具体做法是给积木染上有意义的颜色，不是随便涂色，而是让颜色承载信息。

在3D到2D投影题里，颜色按深度分配，越靠前的积木颜色和越靠后的积木颜色不一样，这样模型不仅要匹配轮廓形状，还得靠颜色判断前后遮挡关系。在视角变换题里，会指定一块积木涂上特殊颜色作为锚点，要求模型在结构旋转之后依然能准确找到这块锚点积木现在在哪个位置。在结构组合题里，用透明重叠的同色积木来标记两个结构拼接的位置，模型得学会对齐两张图里颜色相同的积木，才能推算出拼接后的样子。

如果不加这层颜色线索会怎样？论文里做了对照实验，去掉颜色线索之后，模型在MindCube这个真实场景测试集上的表现掉了7.9个百分点，在另一个多图推理测试集MMSI-Bench上掉了4.8个百分点。这说明颜色线索不是锦上添花的装饰，它实实在在地教会了模型如何在复杂场景里抓住关键参照物，这个技能后来直接迁移到了真实世界的图片理解上。

两种训练策略：说答案还是讲道理

拿到数据之后，怎么训练模型，论文里给出了两条路子。

第一条叫直接回答模式，取名SpatialBlock-direct。做法很直白，就是让模型看到题目和图片，直接输出正确答案，中间不需要写推理过程，用标准的交叉熵损失函数去优化，让模型逐字生成正确答案序列的概率最大化。

这就像考试的时候有的题只要求填选项，不要求写解题步骤。好处是训练起来简单直接，模型学习效率高，能快速建立起基本的空间判断直觉。

第二条叫推理增强模式，取名SpatialBlock-reason，这条路复杂一些，分两步走。

第一步先用LoRA微调做个"预热"。

LoRA：全称低秩适应，一种轻量级的模型微调技术，只调整模型里的一小部分参数，而不是把整个模型的所有参数都重新训练一遍。

为什么不直接用全参数微调打底？论文里给出了一个挺关键的发现：全参数微调容易把模型原本具备的思维链推理能力给破坏掉。

思维链：指模型在给出最终答案之前，先一步步写出中间推理过程的能力，简称CoT。

这里还牵扯出另一个问题，就是常规做法里的"冷启动"阶段。很多训练推理模型的方法，会先找一个更强大的教师模型，比如GPT-5，生成一批带推理过程的示范数据，让学生模型模仿着学。但研究者们发现这条路在积木任务上走不通，因为哪怕是GPT-5这种顶级模型，在这套积木题上正确率也只有三成多，让它生成推理示范，很多时候推理过程本身就是错的，只是蒙对了最终答案。论文里专门举了个例子，GPT-5一本正经地分析积木结构，中间某一步把方块的颜色和层数都数错了，但最后答案居然歪打正着蒙对了。用这种看似正确、实则逻辑全错的示范去训练学生模型，学生学到的是错误的推理套路，效果自然好不到哪去。

这就好比找一个考试蒙对答案的同学来教你解题思路，他嘴上讲得头头是道，但每一步逻辑其实都是编的，你跟着学，学到的不是解题能力，是编故事的本事。

所以研究者们选择用LoRA先给模型打个基础，既让它熟悉积木任务的基本规律，又不破坏它原本就有的推理能力，相当于保留了学生自己会思考的天赋，只是补充了一些专业知识。

打完基础之后，第二步用强化学习进一步优化，具体用的算法叫GRPO。

GRPO：全称群体相对策略优化，一种强化学习算法，通过让模型针对同一个问题生成多个候选答案，然后比较这些答案的好坏，鼓励模型多生成得分高的回答方式。

GRPO的奖励机制设计得挺细致，一共考虑三个方面：答案对不对、格式规不规范、回答长度合不合适（既不能太短敷衍，也不能啰嗦到一千多字还没说完）。每一项都用0或1的二元打分，这样奖励信号简单清晰，训练过程也更稳定。

结果如何：15000条数据打赢别人十几万条

这里最值得说道的一点是数据量的对比。

论文里对比的几个竞品，比如SpatialMLLM用了12万条训练数据，SpaceR用了15万条，Spatial-SSRL用了8.1万条。而SpatialBlock-15k只用了1.5万条，规模差了将近十倍，还是纯合成的。

结果呢？在MindCube这个考验心智模拟能力的真实场景测试集上，3B规模的SpatialBlock-direct模型比之前最强的SpatialLadder高出2.7个百分点，7B规模的模型相较自己的基础版本Qwen2.5-VL-7B-Instruct直接提升了17.6个百分点，4B规模的模型更是提升了25.1个百分点，达到51.3%，是所有开源模型里的最高分。

在需要复杂逻辑推理的MMSI-Bench上，推理增强版的3B模型比SpatialLadder-3B高3.2个百分点，7B版本的表现超过了用十几万数据训练的SpaceR和Spatial-SSRL。

更让人意外的是，训练数据里完全没有一张真实世界的照片，模型在通用视觉理解测试集MMMU上的表现却没有掉下去，说明学积木没有把模型原本的视觉能力练废，反而是在原有基础上叠加了一层空间理解能力。

下面这张表格摘录了部分核心结果，方便直观感受差距：

3B规模模型在MindCube测试集上，基础版Qwen2.5-VL-3B-Instruct得39.1分，而SpatialBlock-3B-direct得到49.1分，SpatialBlock-3B-reason得到45.3分。

7B规模模型在同一测试集上，基础版Qwen2.5-VL-7B-Instruct只有31.3分，SpatialBlock-7B-direct达到48.8分，几乎翻了一倍。

在MMSI-Bench测试集上，用了15万条数据的SpaceR得分27.4，而只用1.5万条数据的SpatialBlock-7B-reason得到29.7分，反而更高。

这组数字放在一起看，说明的道理挺直接：训练数据的质量和设计思路，比单纯堆数据量更重要。这就好比健身，不是说你每天泡健身房八个小时就一定比只练一小时的人练得好，关键是你练的动作对不对、有没有针对性地锻炼到该锻炼的肌群。

拆解实验：每个设计到底有没有用

论文做了一系列消融实验，一项一项验证每个设计决策是不是真的有必要。

先看只用单一题型训练会怎样。分别只用Q1（投影题）、只用Q2（旋转题）、只用Q3（组合题）训练模型，结果发现每种单一题型都只能提升某些方面的能力，但整体表现都不如三种题型混合训练。这说明三类任务教的是不同维度的技能，缺一门课，学生就有短板，凑齐三门课才是完整的空间智能训练体系。

再看去掉颜色线索会怎样，前面已经提到，去掉之后MindCube掉7.9分，MMSI-Bench掉4.8分，证明颜色锚点的设计确实是关键。

还有一项对照实验挺有意思，研究者们特意拿了另一个真实场景数据集SpatialLadder-26k，用完全相同的训练配方去训练模型，结果这个模型在SpatialBlock自己的测试集之外的大多数基准上都打不过SpatialBlock训练出来的模型，只有在跟SpatialLadder同源的测试集上表现更好（因为那本来就是同一套数据体系里的题）。这说明性能提升不是训练配方本身的功劳，是积木任务这个设计思路本身更有效。

最后是关于模型初始化方式的对比。完全跳过LoRA预热直接上强化学习，效果明显更差。用全参数微调加GPT-5生成的示范数据做冷启动，效果也不如LoRA预热，原因前面解释过，GPT-5自己在这个任务上都经常出错，教出来的学生自然也学不精。

为了验证模型是不是真的理解了三维结构，而不是死记硬背某个固定视角的图案，研究者们还做了一个视角泛化测试。训练数据全部用45度视角渲染，测试的时候换成30度和60度视角，如果模型只是记住了45度视角下的图案套路，换个角度就应该表现大幅下滑。但实际结果是，直接回答模式的模型在三个角度下的准确率分别是94.8%、94.8%、94.2%，推理模式的模型是90.2%、89.0%、89.5%，几乎没有变化。这说明模型学到的确实是积木本身的立体结构，而不是某个特定拍摄角度下的表面规律。

还有一个对照实验专门检验了积木任务的设计本身是不是比常规的空间问答题更有效。研究者们另外造了一批"Synthetic-Real"数据集，规模跟SpatialBlock-15k一样，但题型换成了常见的相对方向、相对距离这类简单空间问答，只不过场景也换成了积木。结果这批数据训练出来的模型，只在跟训练题型一样的场景里表现好，一旦换到真实世界的测试集，反而不如原版SpatialBlock。这个对比挺能说明问题：不是随便造点积木图片就能练出空间智能，任务本身得设计得足够全面，覆盖组合、变换、整合这三种能力，才能让模型学到的东西真正迁移到现实世界里去。

这项研究之后可能会怎么走

这篇论文发在2025年9月，往前看的话，能找到几条清晰的发展脉络。

在这篇论文之前，MindCube这项工作已经提出了"空间心智建模"的概念，核心思路是让模型从局部视角推断完整场景，或者在视角变化时推断物体排列，但它依赖的还是真实场景的标注数据。SpatialLadder则设计了从空间感知逐步过渡到复杂推理的分层训练方案，同样绕不开真实场景标注。SpatialBlock-15k相当于站在这些工作的肩膀上，换了一条更省钱、更干净的路径去达成同样的目标。

再往后看，如果研究者们沿着这条思路继续走，很自然的一步是把积木任务的复杂度进一步提升，比如引入更多种类的几何形状而不只是方块，或者把静态积木拓展成会运动的物理场景，让模型学习物理规律和空间推理的结合。另一个可能的方向是把这套合成数据训练出来的空间能力，跟机器人的实际操作任务结合起来，毕竟论文开头就提到，自动驾驶和机器人都是空间智能最迫切需要的应用场景。

写在后面

读完这篇论文，最触动我的其实不是那些提升了多少个百分点的数字，而是GPT-5在那道积木题里，一本正经地数错方块层数，却蒙对了最终答案的那个细节。

这个细节暴露了一件事：现在很多大模型看起来"很会推理"，其实很多时候它输出的推理过程和最终答案之间，根本没有真实的逻辑关联。它是先猜到答案，再倒推出一套看起来合理的解释，而不是真的先理解结构再一步步算出答案。这跟人类考试作弊后编造解题过程，本质上是一回事。

这也让我想到一个问题：我们现在评估大模型能力的方式，是不是也存在类似的盲区？如果一个模型总能蒙对答案，但推理过程经常是错的，我们靠"最终答案对不对"这一个指标去打分，是不是从一开始就漏掉了最该关注的东西？

另一个让我意外的地方是，仅仅1.5万条纯人工合成的积木数据，居然能撬动模型在真实世界照片上的空间理解能力。这说明空间智能这件事，可能真的存在某种可以脱离具体视觉内容、独立训练的底层结构，就像人类小时候玩积木锻炼的空间感，长大后同样能用来判断车能不能倒进停车位，尽管停车位和积木长得完全不一样。

那么问题来了，如果空间智能可以靠这么便宜的合成积木练出来，还有哪些"看起来必须依赖真实世界数据"的能力，其实也藏着类似的捷径，只是我们还没找到那个"积木"？

Q&A

Q1：SpatialBlock-15k是什么？

A：SpatialBlock-15k是一个完全由计算机合成生成的数据集，包含15000道积木搭建相关的问题，覆盖3D到2D投影、视角变换、结构组合三类任务，专门用来训练大模型的空间推理能力，不依赖任何真实场景标注。

Q2：为什么大模型在空间推理任务上表现这么差？

A：论文实验显示，GPT-5在简单的积木视角判断题上准确率只有36.7%，Gemini-2.5-flash只有30%，而人类平均能达到95%。原因是大模型缺乏基础的三维结构重建能力，训练数据里很少有针对这类基础空间技能的专门练习。

Q3：只用1.5万条合成数据真的能超过用十几万条真实数据训练的模型吗？

A：论文对比结果显示确实如此。比如在MMSI-Bench测试集上，用15万条数据训练的SpaceR得分27.4，而只用1.5万条数据的SpatialBlock-7B-reason得到29.7分，说明任务设计的针对性比单纯堆数据量更重要。