浙江大学团队让AI学会"因地制宜"地使用工具——室内3D空间理解准确率跃升43%的秘密

这项由浙江大学、悉尼科技大学以及OPPO研究院联合完成的研究，于2026年6月以预印本形式发布，论文编号为arXiv:2606.07436。研究成果被命名为Skill-3D，旨在解决AI智能体在理解室内三维空间时"工具用错"的根本问题。

当你走进一个陌生的房间，想知道沙发和电视柜之间隔了多远，或者想数清楚里面摆了几把椅子，你会怎么做？你大概会先用眼睛扫一圈，判断空间关系，然后可能俯下身子量量距离，或者走近一点仔细辨认。关键在于，你会根据具体问题选择合适的行动方式——量距离用卷尺，数椅子靠眼睛，判断方向靠感觉。你不会每次都掏出卷尺量一遍，哪怕人家只是问你门口有几盆花。

然而现在的AI却偏偏犯了这个毛病。浙江大学的研究团队发现，当前那些能看图说话、能使用外部工具的多模态大语言模型（可以理解为带眼睛的AI助手），在处理室内三维空间问题时，往往不管问什么，都习惯性地调用同样那几个工具，而不是根据具体问题和具体场景选择最合适的方法。这就好比一个装修师傅，不管是要钉钉子还是锯木头，都习惯性地先掏出电钻——结果当然一团糟。

Skill-3D就是针对这个问题设计的解决方案。它让AI学会先认识场景和任务，再去"技能库"里翻出最匹配的操作方法，然后才调用工具去做事。经过这套机制的加持，AI使用工具的有效率从原来的39%一路攀升到78%，在特定测试集上准确率提升了43%，让人刮目相看。

一、AI看3D空间为什么这么难

要理解这项研究，先得明白为什么三维空间理解对AI来说是块硬骨头。

普通人每天睁开眼睛就在处理三维空间信息。大脑会自动融合双眼视差、透视关系、阴影变化等一大堆线索，让你知道桌子在哪里、窗户离你多远、椅子背后还藏着什么。但AI看到的只是一张或几张平面图片——它没有真实的三维感知能力，所有的空间信息都得靠"推算"。

为了弥补这个天然劣势，研究者们给AI配备了各种外部工具。比如，有专门识别图中物体的目标检测工具，有能把图像分割成不同区域的图像分割工具，有能估算画面中各点距离摄像头远近的深度估计工具，有能把多张图片拼合成三维模型的三维重建工具，还有判断物体朝向的方向估计工具以及提升图像清晰度的超分辨率工具。每种工具各有所长，深度估计擅长告诉你"这个物体离镜头有多远"，三维重建则擅长还原整个房间的空间布局，目标检测负责找到图中有哪些物体。

问题是，这些工具不是万能的，每种工具适合解决特定类型的问题。然而，研究团队发现，现有的那些AI智能体系统，无论面对什么样的问题，都倾向于优先调用三维重建和目标检测这两个"大而全"的工具。就像一个厨师不管炒什么菜，都先把锅烧到最热、再把所有调料都撒进去——有时候有用，但大多数时候是浪费，甚至帮了倒忙。

实验数据很能说明问题。研究团队测试了GPT-5.4这种顶级AI，发现它在处理"两个物体之间的距离是多少"或者"这个房间有多大"之类的问题时，有61%的工具调用都落在了三维重建工具Pi3上，只有18%用了目标检测，深度估计工具仅占区区8%。但实际上，测量两个物体之间的距离，最有效的方法是先用目标检测找到物体位置，再用深度估计获取精准的距离信息，三维重建反而是辅助性的。这种"工具偏见"导致AI拿到的证据不对、推理走了弯路，给出错误答案。

更麻烦的是，不同室内场景的需求差异很大。浴室里测量浴缸和台盆的距离，需要的是精确的深度信息；客厅里数椅子的数量，需要的是跨多个视角的物体检测和去重；判断冰箱相对于门的方向，需要的是方向估计。这种"场景异质性"（也就是说每个场景和每类问题都有自己独特的需求）是导致现有AI工具使用效率低下的根本原因。

二、Skill-3D的核心思路：先认场景，再选技能

Skill-3D的设计理念，用一句话来概括就是：让AI学会"因地制宜"。

可以把Skill-3D的工作方式类比成一个经验丰富的老修理工。这位老师傅走进厨房，看到炉灶漏气，他脑子里立刻就知道该拿扳手还是密封胶，绝不会傻乎乎地先把整个炉灶拆了再说。他之所以能这么做，是因为他脑子里积累了大量"过去处理类似问题的经验"——什么样的问题对应什么样的工具组合，哪些方法有效，哪些踩过坑。Skill-3D做的，就是给AI建立类似的"经验积累"机制。

整个框架由两个核心部件构成，一是"场景记忆库"，二是"技能库"。场景记忆库负责记录AI在处理各种空间问题时完整的操作过程：用了哪些工具、工具返回了什么结果、最终答案是对是错。技能库则在场景记忆库的基础上，把那些成功的操作流程提炼成可以反复使用的"技能"，并把失败的经验作为警示附在对应技能旁边。

这里的"技能"是一个关键概念，值得仔细解释。每一个技能都像一张配方卡片，上面写着：在什么样的场景和问题下触发、需要收集什么类型的证据、工具的调用顺序是什么、关键的参数设置有哪些，以及如何把工具返回的结果转化为最终答案。比如，有一个叫做"深度距离技能"的配方，专门对应"两个物体之间的最近点距离"这类问题，它的操作步骤是先调三维重建工具获得房间整体布局，再调目标检测工具找到具体物体的位置，最后用深度估计工具获取精确的几何信息。这个顺序和组合，是从大量成功案例中蒸馏出来的最优解。

技能库里的技能分为两类：静态技能和动态技能。静态技能可以理解为通用基础技能，是在各类室内3D推理任务中普遍适用的操作原则，比如"计数类任务"、"距离估算任务"、"方向判断任务"等，相当于一本基础烹饪教程，告诉你做菜的基本原则。动态技能则是在实际使用过程中，针对具体场景不断进化出来的专属技能，比如"浴室中精确距离测量技能"或者"客厅多视角椅子计数技能"，相当于一位厨师根据当地食材和顾客口味调整出来的独家秘方。

三、技能是怎么"进化"出来的

Skill-3D最有意思的地方，在于它的技能库并不是人工预先设定好的，而是在AI不断处理任务的过程中自动生长出来的。

在训练阶段，AI每完成一道空间推理题，Skill-3D就会把这次操作的完整记录存入场景记忆库，包括题目类型、场景特征、用了哪些工具、工具返回了什么、最终答案是否正确。然后，技能管理器（Skill Manager）会审查这些记录，决定如何更新技能库。

对于成功的案例，Skill-3D会从中提取可复用的操作流程，判断这个流程是否与已有技能类似。如果没有对应的技能，就创建一个新的动态技能；如果有相似技能但这次案例补充了新的场景条件或更好的证据来源，就把新信息融入已有技能，扩大其适用范围；如果这次案例完全是已有技能覆盖的内容，那就只更新该技能的成功统计数据，保持技能库的精简。

对于失败的案例，Skill-3D同样不会简单丢弃。它会诊断失败的原因，常见的错误类型包括选错了工具、关键证据缺失、工具输入参数有问题、忽略了工具返回的结果、或者重复调用了没用的工具。找到原因后，这些失败案例会以"教训"的形式附在相关技能旁边。当AI下次遇到类似情况时，这些教训就会起到警示作用，告诉它"上次我们在这种场景下犯了这个错，要注意"。如果某类失败模式反复出现，Skill-3D还会自动生成一个专门应对这种问题的新动态技能，从根本上解决反复踩坑的问题。

这个过程形成了一个持续进化的闭环：场景记忆库积累的记录越来越多，技能库提炼出的技能越来越精准，技能反过来指导AI处理新问题，新问题的结果又反哺场景记忆库……就这样，场景记忆和技能库相互促进、共同成长，直到技能足够可靠，可以作为推理时的参考依据。

这种设计还有一个实际好处：动态技能不会被锁定在某个狭窄场景里。比如，同样是"深度距离估算"这个技能，在厨房场景下积累的经验和在卧室场景下积累的经验，最终都会被整合进同一个技能，让它对各种室内环境都有良好的泛化能力，而不是只认识一种特定的厨房。

四、推理时如何"按图索骥"

技能库建好之后，AI遇到新问题时会怎么用它？这个过程分三步走，每步都有清晰的逻辑。

第一步是场景识别。AI收到一个新问题后，先不急着调工具，而是认真分析当前的场景-任务背景：这是什么类型的任务？目标物体是什么？视角是单张图还是多张图？解答这个问题需要什么样的证据——是物体边界信息、深度信息、方向信息，还是多视角几何关系，抑或是这些的组合？这一步就像侦探到达案发现场先做的现场勘查，确保后续每个行动都有的放矢。

第二步是技能检索与筛选。根据场景识别的结果，Skill-3D从技能库中检索最相关的技能候选集。每个技能都有一组索引标签，包括它的触发条件、适用场景、需要的证据类型，以及历史成功率等元数据。系统会给每个候选技能打分，综合考虑它与当前问题的语义匹配度、所需工具的效率代价，以及历史上在类似场景下的表现记录。检索的结果是一个精简的候选集，不会把整个技能库都塞进AI的视野里。随后，AI本身会从候选集中做最终选择，挑出最匹配当前问题的一个或几个技能，同时生成应急备选规则——比如，"如果目标物体的边界信息不够清晰，就从目标检测切换到图像分割工具"，或者"如果单视角定位有歧义，就转而寻找多视角证据"。

第三步是工具调用与证据整合。在选定的技能指导下，AI按照技能规定的工具顺序和参数方式，一步步执行工具调用。每次工具返回结果后，AI都会把这个结果真正用到后续的推理中，而不是调完就扔。最终，所有工具返回的证据被整合在一起，支撑起最后的答案。这一步的关键不只是"有没有调对工具"，更是"调了工具之后有没有真的用上那个工具给出的信息"。

五、用训练来内化技能：让小模型也能学会

Skill-3D不仅是一套给大模型（比如GPT-4o、Gemini系列这种千亿参数级别的AI）用的推理框架，研究团队还把它进一步打包成了可以训练更小模型的方案，让普通硬件上运行的轻量级AI也能掌握这套技能导向的行事方式。

具体来说，研究团队设计了两阶段的训练流程。第一阶段叫做监督微调（简称SFT，类似于让学生先临摹范文），使用技能引导轨迹数据来训练模型。这批训练数据包含了完整的操作示例：面对某个场景-任务，应该检索哪个技能、应该调用哪些工具、每步推理应该说什么、最终答案是什么。通过这个阶段，模型学会了整个操作流程的基本格式和逻辑，就像学厨师先照着菜谱做一遍。

第二阶段叫做强化学习，具体用的是一种叫做GRPO（组相对策略优化）的方法，类似于让学生通过反复练习自己摸索规律、找到最优解。在每道题上，模型会生成一组不同的操作轨迹，然后通过三种指标打分：答案是否正确（权重最高，占0.6）、工具使用效率如何（权重0.2，既看工具有没有返回有效证据，也惩罚调用过多没用的工具）、输出格式是否规范（权重0.2）。模型在组内通过比较各条轨迹的相对得分来更新自己的策略，逐步朝着"答案准确、工具精准、格式整齐"的方向进化。

这里有一个微妙但重要的设计：在强化学习阶段，工具使用效率的评判标准是由一个独立的"场景任务解析器"预先定义的，而不是由模型自己选择的技能来定义的。这个设计是为了防止模型"耍滑头"——比如故意选一个要求不高的技能，这样工具使用效率就很容易达标。通过外部定义的标准，确保模型真正学会了用正确的工具收集正确的证据，而不是走捷径。

此外，实验结果表明，在强化学习之前先做监督微调"热身"至关重要。如果跳过这一步直接做强化学习，模型会在训练早期严重退化，后来虽然能慢慢恢复，但最终表现远不如先做热身的版本。同样，在强化学习阶段，技能库应该保持冻结状态，不能一边训练模型一边更新技能——否则模型策略和技能库同时在变，就像两个人同时改同一份食谱，结果谁也不知道该按哪个版本做菜，训练会变得极不稳定。

六、实验结果：数字背后的实际意义

研究团队在四个公认的室内三维空间理解测试集上进行了系统评测，覆盖了对AI三维理解能力的多个维度。VSI-Bench主要测试八类室内空间推理任务，包括物体计数、距离估算、尺寸估算、路径规划和外观顺序等；BLINK测试多视角空间推理；CV-3D测试深度排序和相对距离；MMSI-Bench测试位置关系推理。

评测使用了多种主流AI系统，包括GPT-4o、GPT-5.4、Gemini-2.5-Pro、Gemini-3-Flash这些顶级闭源AI，以及Qwen3-VL-4B和Qwen3-VL-8B这两个开源AI。每种AI都在四种条件下测试：不用工具、直接用工具（没有技能指导）、用Think3D框架（一种基于三维重建的同类方法）、用Skill-3D。

在GPT-4o上，Skill-3D和不用工具的基础版相比，在绝对距离估算这个最难的子任务上，得分从5.3跳升到了42.6，提升幅度超过700%；物体计数从46.2提升到56.8；房间尺寸估算从38.2提升到69.5。在更强大的GPT-5.4上，Skill-3D同样表现优异，绝对距离估算从43.6提升到61.5，房间尺寸估算从55.7提升到77.6。在Gemini-3-Flash上，Skill-3D让MMSI-Bench的位置关系推理得分从32.7提升到54.8，换算成相对提升幅度约为67%。

对于开源的小模型，效果同样令人满意。Qwen3-VL-8B在VSI-Bench上的平均得分从41.1提升到58.8，相对提升42.9%；更小的Qwen3-VL-4B也从36.8提升到46.4。这说明技能指导框架不是大模型的专利，小模型也能通过训练内化这套逻辑，在有限的计算资源下获得显著提升。

工具使用有效率的提升尤其值得关注。这个指标衡量的是：AI调用的工具中，有多少比例真正返回了有用的信息，并且这些信息被真正用在了后续推理中。在没有技能指导的基础版中，这个比率只有39.2%——也就是说，AI调用的工具里，超过60%都是无效的，要么工具没返回什么有价值的东西，要么返回了但AI自己没用上。Skill-3D把这个数字提升到了78.7%，几乎翻倍。在其他三个测试集上，这个指标同样从30%-36%的低谷，全部提升到了79%-87%的高位。

效率方面的改善也出乎意料地好。Skill-3D平均每道题调用2.6次工具，比Think3D的1.8次多，但平均推理时间却从Think3D的35.1秒缩短到了20.8秒。这是因为Skill-3D减少了对三维重建工具Pi3的依赖——Pi3在7张图的输入下需要约21秒，而深度估计、方向估计、图像分割这些工具只需要不到2秒。通过选择更合适而非更"重量级"的工具，整体效率反而提升了。

消融实验（即把某个组件去掉看看结果会差多少的测试）进一步证明了每个设计的必要性。去掉失败教训，平均分从69.9降到68.1；去掉动态技能，降到67.8；去掉静态技能，降到65.6；去掉AI自主的技能选择步骤，降到65.5；去掉技能检索，降到64.1。每个组件都有不可替代的贡献，静态技能提供通用基础、动态技能提供场景适配、失败教训提供纠错信号、技能检索和选择确保推理高效。

跨测试集的技能迁移实验也给出了有趣的发现：从VSI-Bench上学到的动态技能，放到MMSI-Bench和CV-3D上依然有效；从MMSI-Bench学到的技能同样能改善VSI-Bench的表现。这说明不同测试集覆盖的空间推理任务之间确实存在共性规律，可以通过技能共享来相互促进。把所有测试集的训练数据混合使用，效果最佳。

七、两个典型案例：技能的差异一目了然

研究论文中给出了两个直观的对比案例，非常能说明技能指导的实际价值。

第一个案例是测量浴室里桌子和浴缸之间的最近点距离（正确答案是0.9米）。没有技能指导的Think3D先调用了三维重建工具，然后又调了目标检测，但因为桌子和浴缸出现在不同的视角帧里，两个物体各自的最近边界始终没有被精确地找到。最终AI给出的答案是1.5米，偏差很大。

Skill-3D则在拿到题目后先检索到了"深度距离技能"，这个技能明确指出：对于"最近点距离"类问题，需要结合三维重建获得房间整体布局、目标检测锁定具体物体的边界区域，以及深度估计获取密集的几何信息，三者缺一不可。按照这个配方，AI依次调用了三维重建工具、目标检测工具和深度估计工具，最终把三类证据综合起来，给出了准确的0.9米答案。

第二个案例是数房间里有多少把椅子（正确答案是4把）。Think3D主要依靠三维重建和跨视角目标匹配，但问题在于，相邻视角帧中拍到的是同一把椅子的不同角度，模型把它们误判成了不同椅子，最终答出了5把，多计了一把。

Skill-3D检索到"检测计数技能"，这个技能要求：先用三维重建获得房间全局布局，再用目标检测在各帧中找到所有椅子实例，最后通过跨视角去重（把出现在多个视角中的同一把椅子合并成一个）来得到准确数量。按照这个流程操作下来，AI正确地识别出了4把椅子，没有重复计数。

这两个案例生动地展示了"知道该用什么"和"不知道该用什么"之间的本质差距。有了技能，AI的操作有了明确的依据；没有技能，AI只能凭直觉猜一个看起来差不多的工具组合，结果当然差强人意。

说到底，Skill-3D解决的核心问题并不复杂：让AI在处理三维空间理解任务时，从"千篇一律地调工具"变成"有的放矢地选工具"。这个改变看起来很小，但带来的效果却相当显著——工具有效使用率翻倍，多个测试集上的准确率提升幅度均在30%-70%之间。

归根结底，这项研究告诉我们，工具的威力不在于拥有多少种，而在于知道什么时候该用哪一种。一个积累了丰富经验、懂得因地制宜的AI，比一个拥有所有工具但不知道如何选择的AI，实用价值高出太多。就像一位见过各种奇怪故障的老技师，走进陌生的机房，靠着过往积累的"案例库"，往往能比翻遍了所有教材却没有实战经验的新手更快找到问题所在。

当然，目前Skill-3D的测试范围还局限在室内场景，如果要把这套框架迁移到室外导航、具身机器人交互或者实时操控等场景，还需要对工具接口、场景特征描述方式和安全约束进行新的适配。这是研究团队在论文结尾自己提出的局限性，也是下一阶段值得探索的方向。

对这项研究感兴趣的读者，可以通过arXiv编号2606.07436查阅完整论文，项目主页也在skill-3d.github.io上提供了更多资料。

Q&A

Q1：Skill-3D的技能库是提前人工设计好的，还是自动生成的？

A：Skill-3D的技能库是在AI处理任务的过程中自动生长出来的，并非完全人工预设。框架内置了一批通用的"静态种子技能"作为起点，类似基础操作手册。在训练过程中，AI每完成一道题，就会把操作记录存入场景记忆库，技能管理器会从成功案例中自动提炼新的动态技能，并把失败案例作为教训附在相关技能旁边。随着处理的任务越来越多，动态技能也越来越丰富、越来越贴合不同场景的实际需求，整个库是持续进化的。

Q2：Skill-3D和Think3D有什么本质区别？

A：Think3D是一种主要依靠三维重建来解决室内空间理解问题的方法，它倾向于对大多数问题都先做三维重建，属于"一套方法走天下"。Skill-3D的核心区别在于它会先判断场景和任务类型，再从技能库中检索最匹配的工具组合方案，不同类型的问题会触发完全不同的工具流程。实验显示，Skill-3D在推理时间上比Think3D更短（20.8秒对35.1秒），因为它避免了很多不必要的重量级三维重建操作，同时准确率也更高。

Q3：Skill-3D框架能在普通消费级AI产品上使用吗？

A：目前Skill-3D还是一个研究框架，尚未直接集成到消费级产品中。不过，研究团队已经验证了它可以通过训练让参数量仅有4B和8B的轻量级开源模型（Qwen3-VL-4B/8B）也掌握技能导向的推理方式，这意味着这套逻辑并不需要超大型AI才能实现。随着技术成熟，未来集成进智能家居助手、室内导航App或者AR测量工具的可能性是存在的。