AI能把乐高积木搭对，却搭不出一把能转的轮椅

2026年，GPT-6 Astra发布的那天,科技圈炸了。所有人都在讨论一件事:这个新模型能不能直接把你脑子里想的东西,变成一个真实存在的物体。

你随口说一句"给我做个轮椅",AI就自己去挑零件、拼装、决定用什么材料、规划好组装顺序,最后给你一个能造出来的设计图。这听起来像是科幻小说里才有的场景,但一群来自伊利诺伊大学香槟分校的研究者觉得不对劲:这事真的靠谱吗?

他们做了一个实验,把30个顶尖的AI模型拉过来测试,结果发现一个挺扎心的现象。这些AI生成的轮椅,看起来都像模像样,四个轮子、靠背、扶手一应俱全,摆在那里拍照绝对能唬住人。但你要是真信了它,照着图纸去造,大概率会发现:轮子压根转不动,因为AI根本没给它装上能转的轴承。

这篇论文的名字叫LMBuild,它想干的事情说白了就一句话:别光看AI造的东西好不好看,得看它能不能真的用。

为什么"看起来对"不等于"真的对"

先说说这个问题到底难在哪里。

过去评价AI生成3D模型的标准,基本都盯着"长得像不像""好不好看"这些视觉层面的东西。你给AI一张椅子的照片,它吐出一个3D模型,评审团就看这个模型的轮廓对不对、材质贴图美不美、细节丰不丰富。

这套评价体系用来评价雕塑或者电影特效挺合适的,但放到"造一个真能用的东西"这个场景里就露馅了。

**一个结构看起来完美无缺,完全可能是个根本立不起来、动不了、拼不起来的废物。**

论文作者举了个特别直观的例子。AI造了个烤面包机,外观上面包插槽都对,拍照效果拉满。但仔细一看,管控烘烤时间的旋钮没了,感知面包烤没烤熟的温度传感器没了,面包烤好了弹出来的弹簧机构也没了。你拿着这个"设计图"去买零件组装,最后会得到一个只能插进面包、但永远不会自动弹起来的黑盒子。

再比如马桶。AI很擅长把马桶盖和坐便器之间的铰链做对,这部分视觉上很显眼,容易学到。但是水箱里真正负责冲水的阀门、把手连接到阀门的那根拉杆,这些藏在内部、不太显眼的功能部件,经常被直接漏掉。

这就是研究者想解决的核心矛盾:**AI现在很擅长"画"出一个东西的样子,但它对这个东西"为什么长这样""每个部件是干什么用的"这件事,理解得远远不够。**

想象一下,如果你找了一个从没见过真实汽车、只见过汽车照片的画家,让他给你画一辆能开的车。他能画出轮子、车门、方向盘,构图完全正确,甚至光影都很漂亮。但他画不出发动机怎么把动力传到车轮上,因为他从没拆开过真正的发动机舱,根本不知道里面那套传动系统长什么样、为什么非要这么连接。

这种"会画但不懂原理"的差距,正是LMBuild想要量化和暴露出来的东西。

给AI建了个真正的"组装车间"

要测出这种差距,光靠看最后生成的静态模型是不够的。研究团队干了一件挺硬核的事:他们没有让AI一步到位"生成"一个3D模型,而是搭建了一个交互式的虚拟组装环境,逼着AI像真正的工程师一样,一步一步把东西拼出来。

在这个环境里,AI能做的操作被拆分成了很具体的几种。它可以去一个零件库里检索现成的零件,比如一个标准的轮子、一根标准的轴;如果库里没有合适的零件,它也可以自己用几何建模的方式创造一个全新的零件;拿到零件之后,它得自己决定把这个零件放在空间里的哪个位置、什么朝向;放完之后,它还得明确声明两个零件之间是怎么连接的,是用螺丝固定死,还是装一个能转动的铰链。

工具环境*:指论文中搭建的那套让AI能够调用"检索零件""创建零件""放置零件""声明关节""检查结构"等工具函数的交互式3D搭建系统,AI通过多轮调用这些工具一步步完成整个物体的组装,而不是一次性输出一个完整模型。

这套系统还要求AI明确声明每个零件用什么材料做,木头、金属、塑料还是橡胶,并且最后给出一份完整的组装顺序说明,就像宜家家具说明书那样,告诉"工人"先装哪块板、后装哪块板。

这个设计思路背后其实藏着一个很朴素的判断:**如果你只让AI画出最终成品的样子,它可以靠"蒙混过关"的套路蒙混过去,但如果你逼它交代清楚每一步是怎么拼上去的、用了什么材料、哪里能转动,它的理解深浅就藏不住了。**

这就像考学生数学题。你如果只要求学生写出最终答案,他可以蒙一个数字糊弄过去,你根本不知道他是不是真的理解了解题过程。但如果你要求他把每一步演算过程都写清楚,他对这道题到底懂不懂,一眼就能看出来。如果不这样设计评测方式,很多AI可能只是学会了"3D模型长什么样"的表面规律,却完全没有真正理解物体内部的功能逻辑,这种欺骗性在只看最终渲染图的评测体系里是发现不了的。

这套环境还配了19种不同的工具函数,从列出可用零件、检查当前结构有没有碰撞穿模、到最后渲染六个视角的效果图供AI自己检查,一应俱全。整个系统的设计目标就是让AI的组装过程尽量贴近真实世界里一个工程师用CAD软件搭模型的流程。

2600多个真实物体,加上维基百科当裁判

光有一个组装环境还不够,还得有足够多、足够靠谱的测试题目,以及一套客观的打分标准。

研究团队从大约36.8万个候选3D物体里,精挑细选出了2549个高质量的参考目标,又从中进一步筛出200个作为核心测试集。这些数据来源五花八门,既有乐高积木拼装数据集,也有精密的机械CAD装配图,还有27个开源硬件项目,比如一台可以实际使用的天文望远镜追踪器、一台开源的咖啡研磨机、一台3D打印机,甚至一台机械计算器。

这里有个细节特别值得说一下。研究者没有满足于光让AI照着3D模型的几何形状生成结构,他们还专门去维基百科挖了一层"知识地基"。

Wikipedia知识锚定*:指研究团队为每个待测试的物体类别,从维基百科和维基数据中提取经过验证的事实性描述,包括这个物体应该有哪些核心部件、这些部件通常用什么材料制成、物体的哪些部分应该能够活动,这些信息被用作评判AI生成结果是否符合常识的客观标准,而不是依靠评测者的主观印象。

具体做法是,对于"轮椅"这个类别,系统会先去维基数据里查询轮椅这个概念关联的"组成部分"关系,比如车架、轮子、刹车、扶手这些,再去对应的维基百科词条里找支撑这些说法的原文引用。为了避免AI模型自己编造证据糊弄评测,系统要求每一条被提取出来的"事实"都必须附带一句能在原文里逐字找到的引用,如果找不到对应的原文支撑,这条事实就直接作废。

这个做法其实挺聪明的。你如果只靠人工凭经验去定义"一个轮椅应该有哪些零件",很容易带入个人偏见,或者漏掉一些不那么显眼但确实重要的部件。但如果让一个大语言模型自己去维基百科这种公开、可核查的知识库里按图索骥,找到的每一条规则都有据可查,整个评测过程就变得更客观、更可复现了。

这就好比考试出题,如果出题老师完全凭自己的记忆和感觉来定标准答案,很容易出错或者带入偏见。但如果每道题的标准答案都附带了一份权威教科书的原文出处,其他人复核起来就有据可依,争议也会少很多。

四层打分体系:从能不能立住,到能不能真的用

有了测试题和知识地基,接下来就是怎么打分了。研究团队设计了一套由浅入深、一共四层的评价体系,层层递进地考察AI生成结构的质量。

第一层叫结构稳健性,考察的是最基础的物理常识。生成的这堆零件,是不是真的拼在一起了,有没有零件漂浮在半空中跟整体脱节;零件和零件之间有没有互相穿模打架;整个结构站在地上会不会一碰就倒。这一层相当于及格线,连这都过不了,后面根本没必要谈。

第二层叫功能可供性,这是整篇论文的重头戏。它考察的是生成的物体是不是具备这个类别应该有的功能部件,关节和运动方式是不是符合这个物体该有的动作逻辑。比如一把椅子的靠背应该能靠,一个吸尘器的开关应该能启动电机。

第三层叫设计质量,考察的是整体的美学和设计合理性,零件拆分得合不合理、整体造型好不好看、跟参考图像像不像。

第四层叫物理可实现性,这一层最接近"能不能真造出来"这个终极问题。它要检查给出的组装顺序是不是真的可执行,后装的零件会不会被先装的零件挡住装不进去;材料选择是不是合理,比如轮胎用橡胶、车架用金属;最后还要做一次模拟仿真,看这个结构在物理引擎里实际运行时,该转的地方是不是真能转起来。

这四层加起来一共拆成了十二个具体的小指标,每个指标都尽量用可复现、可量化的方式去打分,而不是单纯靠人工主观评判。

关节运动仿真*:指论文评测中针对结构里声明的每一个可动关节,用MuJoCo物理引擎实际驱动它运动,检查这个关节在真实物理约束下是否能达到预期的运动幅度、会不会在运动过程中和其他零件发生严重碰撞或者让整个结构失去平衡倾倒,而不是单纯检查关节的参数是否"写得像那么回事"。

这个仿真环节特别狠。很多AI会在结构说明里"写上"一个铰链,参数看起来都对,角度、轴向都没问题,但你真拿物理引擎去转动它,会发现这个铰链被旁边的零件死死卡住,根本转不动,或者转动起来会让整个物体瞬间失去平衡倒下。这种"纸面正确,实际作废"的情况,只有真正跑一遍物理仿真才能揪出来。

结果出来了,差距主要出在哪儿

测试跑完,结果挺有意思的。

研究团队发现,对于GPT-6 Astra、Claude Opus 5这些最顶尖的闭源模型来说,结构稳不稳、好不好看这两件事已经基本不是问题了。它们在结构稳健性这一层的得分普遍能打到85分以上,设计质量也能稳定在70分左右。开源模型在这方面还有差距,但差距主要体现在美学细节的打磨上,底子已经不差了。

真正拉开差距的是第二层和第四层:功能可供性和物理可实现性。

数据摆出来挺扎心的。即便是表现最好的GPT-6 Astra,功能部件完整度这项只拿到45.3分,关节运动学的正确性只有41.7分。大部分开源模型在关节运动学这项上的得分甚至跌破25分。到了最后一关的物理可操作性测试,也就是真正放进物理引擎里看能不能转起来、动起来,所有模型表现都很差,最好的成绩也只是刚过30分出头。

**这意味着一件事:AI造出一个"看起来对"的东西,比造出一个"真能用"的东西,要容易太多了。**

这就好比一个只学过背诵菜谱、却从没真正下过厨的人。他能把菜名、食材清单、烹饪步骤倒背如流,写出来的菜谱文字上挑不出毛病。但你真让他掌勺,锅里的油温该多高、什么时候下锅、火候怎么调,这些没有在真实厨房里摸爬滚打出来的手感,文字菜谱给不了他。AI目前面对复杂结构生成的状态,大概就是这种"背菜谱很熟,掌勺很生"的阶段。如果继续只用静态渲染图去评测AI,这种虚假的熟练感会一直被掩盖,没人会意识到问题出在哪里。

强模型爱自己造零件,弱模型离不开现成库

研究团队还做了一个挺有意思的对比实验,把AI能用的工具拆成三种模式单独测试:只能从现成零件库里挑零件、既能挑也能自己造新零件、只能自己造零件不许挑现成的。

结果发现了一个挺反直觉的现象。**对能力较弱的模型来说,允许它自己创造新零件反而是个负担,会让它的表现明显变差。**

比如Qwen3-VL-32B这个模型,在只能挑现成零件的模式下平均得分是61.7分,一旦切换到只能自己造零件的模式,分数直接掉到34.1分,几乎腰斩。原因不难理解,从零造一个零件需要同时考虑尺寸、形状、怎么跟别的部件接上,这对模型的几何推理能力要求陡增,能力不够的模型一下子就露馅了。

但顶尖的闭源模型表现完全相反。**它们在既能挑也能造的模式下,反而更倾向于主动选择自己造零件,而且造出来的效果往往比单纯从库里挑更好。**对这些强模型来说,现成零件库反而成了限制,因为库里的标准件未必完全贴合这个特定结构的需求,自己动手造一个量身定制的零件,效果反而更好。

这个现象其实挺符合直觉的,只是容易被忽略。想象一个刚入门做木工的新手,给他一堆标准尺寸的木板,他拼拼凑凑还能做出个像样的书架;但如果让他自己拿锯子从原木开始切割出需要的形状,他大概率会切坏尺寸,拼不出成品。而一个老木匠,面对标准木板反而会觉得束手束脚,他宁愿自己动手现切,因为他清楚知道自己要的具体形状是什么,标准件未必刚好合适。这也解释了为什么不能简单粗暴地给所有模型都开放"自由创造"的权限,能力不够的时候,自由反而是负担。

给AI一份详细说明书,比让它多试几次更管用

论文里还对比了两种提升效果的策略:一种是让AI反复检查、修改自己的设计,给它两到三轮的修改机会;另一种是在最开始的提示词里就把详细的功能需求写清楚,而不是只给一个物体名字。

结果出乎意料。多轮修改带来的提升相当有限,整体只提高了大约2个百分点。研究者分析,这是因为AI在单轮生成的时候,本身就已经能检查和调整自己的结构了,多给几轮机会,更多是让它反复试错,而不是真正解决了它理解功能需求不够深的根本问题。

但是把提示词写得更详细、更明确,效果就立竿见影了。当提示词里明确写清楚"这个物体需要有一个抽屉子系统,抽屉应该能相对于柜体滑动"这种具体的功能描述时,功能部件完整度这一项直接提升了10.3分,物理可操作性更是提升了12个百分点,而且这个提升在统计上非常显著。

这个对比说明了一件挺重要的事:**与其指望AI靠自己反复摸索来补全理解上的缺口,不如一开始就把需求讲清楚,让它能把精力花在"怎么实现"上,而不是浪费在"猜你到底想要什么"上。**

这就像给施工队下订单。如果你只说"给我盖个房子",施工队大概率会漏掉你心里默认但没说出口的那些细节,比如你要求卫生间得装浴霸、客厅层高不能低于2米8。你给的设计图纸越是模糊,施工队越容易靠经验和猜测去填补空白,出错的概率也就越高。但如果你一开始就把每一项具体要求列清楚,施工队出错的空间自然就小了。而让施工队"多返工几次",解决的只是执行层面的小失误,解决不了"最初就没理解清楚需求"这个根本问题。

开源模型到底卡在哪儿:不是不懂几何,是不会按规矩写代码

论文最后还专门分析了开源模型在实际操作中具体是怎么失败的,这部分读起来挺有意思,因为暴露出来的问题比想象中更底层。

研究者发现,闭源模型在调用"自己创造零件"这个工具时,成功率高达95.7%,而开源模型只有51.7%,差距相当大。但深挖失败原因会发现,大部分失败并不是因为这些开源模型几何想象力不够,造不出正确的形状,而是它们不遵守底层CAD建模工具约定俗成的"书写规矩"。

比如,描述一个多边形的顶点时,业内约定俗成是按逆时针方向列出来,但不少开源模型会写反方向,直接导致整个几何体无法正确生成。还有的模型在描述零件之间的层级结构时,会把本该引用一个已命名节点的地方,直接嵌套了一整段重复的几何描述,或者用了压根不存在的节点编号。

另一个暴露出来的问题是,开源模型在长时间、多轮次的组装过程中,很容易"忘事"。它们平均每100次工具调用里,就有7.2次是在引用一个压根还没被放置过的零件,仿佛完全忘了自己之前做过什么。闭源模型在这项上的出错率只有0.3次,差了二十多倍。开源模型还经常重复劳动,比如一个零件明明已经放好了,它却又重新放了一遍,而不是移动已有的那个。

这个现象其实很好理解。当你让一个人同时记住几十个零件各自摆在哪个位置、哪两个零件之间已经连好了关节、哪些零件还没处理,这对工作记忆是个相当大的考验。能力强的模型相当于脑子里能同时装下更多这种"场景状态",而能力弱的模型装着装着就乱了,前面放过的东西记不清,就容易出现重复放置或者引用根本不存在的零件这种低级错误。

写在后面

读完这篇论文,最让我意外的不是AI造的东西好不好看,而是它暴露出来的那个具体的失败模式:AI很擅长画出一个物体的外壳,却经常漏掉那些藏在内部、不直接可见的功能部件。

这个细节挺值得单独拎出来说的。马桶盖的铰链做得对,是因为这个铰链你一眼就能从外面看到,训练数据里的图片对它有足够多的视觉信号。但水箱里那套冲水阀门,大部分图片根本拍不到内部结构,AI对这部分的"理解"几乎是空白的。这说明AI现在对物体的认知,很大程度上还是建立在"长什么样"这种视觉表层信息上,而不是"为什么这么设计、内部怎么运转"这种功能性的深层理解。

这让我联想到小时候拆玩具的经历。你光看着一个玩具车的外观,永远想不明白它为什么能跑,只有真正把外壳拆开,看到里面的齿轮和电机是怎么咬合传动的,你才算真正理解了这个东西。AI现在大概就处在"只看过外壳照片,从没真正拆开过"的阶段,它需要的不是更多的图片,而是更多类似这篇论文里搭建的那种交互式组装环境,逼着它去真正"拆"一遍、"装"一遍。

这篇论文留下的一个问题挺值得继续追问的:如果未来真有AI能把这套评测体系里的所有指标都刷到接近满分,它造出来的东西,是不是就真的可以直接拿去3D打印、拿去工厂流水线生产了?物理仿真毕竟还是简化过的模型,忽略了材料疲劳、公差配合这些更复杂的现实约束。从"虚拟世界里能转"到"现实世界里真的能用十年不坏",中间这段路,恐怕比从"好看"到"能转"这段路还要长。

Q&A

Q1：LMBuild是什么?

A：LMBuild是伊利诺伊大学香槟分校研究团队提出的一套评测框架,专门用来检验大语言模型生成的3D结构是不是真的能被建造出来、而且能正常使用,而不只是看起来好看。它通过交互式组装环境、2549个真实物体数据集和四层评分体系,系统考察AI在结构稳定性、功能部件完整度、设计质量和物理可实现性上的表现。

Q2：为什么AI生成的3D结构看起来很好,实际测试却表现很差?

A：因为AI擅长学习物体的外观和轮廓,但对内部功能部件、关节运动方式理解不够深。测试显示,最顶尖的闭源模型在结构稳定性和设计质量上接近满分,但在功能部件完整度和物理可操作性上得分普遍很低,说明AI容易漏掉不直接可见的功能性零件,比如马桶水箱里的冲水阀门。

Q3：给AI更详细的提示词真的能提升生成效果吗?

A：能,而且效果比让AI多轮修改自己的设计更明显。研究发现,把功能需求写得具体详细后,功能部件完整度提升了10.3分,物理可操作性提升了12分,而单纯给AI两三轮修改机会只带来约2个百分点的提升,说明把需求讲清楚比靠AI自己摸索更有效。