微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 AI能把乐高积木拼成一个会动的世界吗?答案可能让你意外

AI能把乐高积木拼成一个会动的世界吗?答案可能让你意外

2026-11-13 08:34
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-13 08:34 • 科技行者

你有没有想过,让一个AI看一张齿轮装置的照片,然后让它用代码把这个装置做出来,还要让它真的能转起来?

这事儿听起来简单,做起来却藏着一个巨大的陷阱。2026年的今天,几乎所有顶尖AI模型都能写出"能跑"的代码。你给它一张图,它分分钟给你返回一堆Python或者Blender脚本,点击运行,程序不报错,屏幕上出现了一个3D场景。看起来挺成功对吧?

但问题是:代码能跑,和这个世界"做对了",完全是两件事。

这正是中国科技大学团队这次研究想戳破的一个幻觉。他们做了一个叫ExeWorldBench的测试平台,专门用来检验:AI到底是真的理解了一个机械装置是怎么工作的,还是只是在表面上糊弄出一个看起来像那么回事的东西。

这件事到底难在哪里

先说清楚一个概念上的区别。

过去几年,AI在"看图生成代码"这件事上已经做得相当成熟了。你给它一张网页截图,它能还原出HTML和CSS;你给它一张建筑图,它能生成对应的CAD模型。这类任务有个共同点,它们追求的是"长得像"。

视觉还原*:指AI根据图片或描述,生成在外观、布局、几何结构上与原图相似的代码或模型,但不涉及内部运作逻辑。

但这篇论文想问的是更难的一层:这个世界"长得像"不够,它还得"动得对"。齿轮要真的能带动连杆,多米诺骨牌倒下去要真的能碰倒下一张,弹珠滚下坡道要真的能触发下一个机关。这不是美术问题,是物理问题。

研究团队把这种能力拆成了两块。第一块叫世界理解,就是看懂一个机械系统背后的结构、力学原理和因果链条——弹簧为什么会反弹,杠杆为什么能撬动重物。第二块叫可执行实现,就是把这种理解翻译成一段真正能跑、能产生物理行为的代码。

这两件事缺一不可,而且互相不能替代。

世界理解*:指对一个系统背后的空间结构、力学原理、因果关系的推理能力,解决的是"这东西为什么这样动"的问题。

可执行实现*:指把理解转化为真实可运行的程序代码,解决的是"怎么把这东西做出来"的问题。

这里有个容易被忽略的真相:懂原理不代表能做出来,能跑代码也不代表懂原理。打个比方,你完全理解自行车为什么能保持平衡(陀螺效应、重心调整),但这不代表你能焊出一台真正骑得稳的自行车。反过来,有人可能瞎捣鼓出一台看起来能骑的自行车,但他对为什么它不会倒完全说不出个所以然。这两种能力经常被混为一谈,但它们其实是两条平行的轨道。

那么问题来了,之前的评测体系有没有把这两件事分开测过?没有。

研究者梳理了之前的测评方式,发现它们大致分三类。一类专门考"懂不懂",比如给AI看一段视频,问它"这个球会往哪边滚",这是纯问答,不要求AI动手做出来。另一类专门考"做没做出来",看代码生成的3D模型是不是跟图片长得像,但这类评测压根不关心这个模型会不会动。第三类考"动得对不对",但考察的动作往往太简单,一个球往下掉、一个方块往前滑,这种单一物体的运动,AI甚至可以靠"插值"糊弄过去,根本不需要真正理解力学原理。

插值*:一种投机的做法,AI不需要理解物理规律,只需要在观察到的几个关键帧之间"猜"中间过程,就能生成看起来连贯的动画,但背后没有真实的物理计算支撑。

这就是为什么研究团队要专门搭一个新的测试台。他们想看的是,当一个系统有好几个零件、好几个阶段、彼此之间要靠因果关系串联起来的时候,AI到底能不能撑住。

三道题,层层加压

ExeWorldBench设计了三道逐渐变难的题,像是把一个人从扶着自行车慢慢推到完全自己骑。

ExeWorldBench*:本论文提出的评测基准,用于系统性检验AI模型将物理世界理解转化为可执行3D代码的能力,包含三个难度递增的任务。

第一道题叫机制可执行性。给AI一张静态图片,图片里是个复杂的机械装置,比如一个带连杆的齿轮组。AI要生成Blender代码,把这个装置建出来,还要让它完整地转一圈。

这里的坑在哪?AI只能看到一张静止的照片,没有任何运动的参考画面。它得从零件的形状、位置关系里,自己推断出"这玩意儿到底怎么动"。这就像给你看一张自行车链条的照片,不给你看它转动的视频,让你直接写出链条带动后轮转动的物理模拟程序。你得从链条和齿轮咬合的角度、链条的张紧程度这些静态线索里,脑补出整个传动过程。如果AI只是照着图片的形状简单复制一个静态模型,而没有推演出运动逻辑,那做出来的东西就是个徒有其表的空壳,齿轮摆在那里,但永远转不起来,或者转起来是乱转。

第二道题叫组合可执行性。这次不是一个机构,而是一整套多阶段系统,比如弹珠滚下坡道、撞倒多米诺骨牌、骨牌碰到跷跷板、跷跷板又弹起另一个球落进碗里。这些阶段必须一环扣一环,前一个动作的结束,精确地触发下一个动作的开始。

这里的难点升级了。AI不仅要懂每个单独机构怎么运作,还要懂它们之间的空间距离、角度、触发时机。如果你搭过多米诺骨牌,你会知道一个真实的教训:骨牌之间的间距差一点,整条链就会断掉,有的骨牌根本碰不到下一张。AI在这里要做的,就是精确计算出每个零件该放在哪儿、离多远、朝哪个方向,才能让整条因果链真正跑通,而不是零件各自表演,互相之间没有真实的物理接触。

第三道题最狠,叫意图驱动的可执行世界合成,直接把图片参考拿掉,只给AI一段文字描述。这道题又分两种玩法。

一种叫组件约束合成,文字里明确告诉AI要用哪些零件(比如一个漏斗、一个跷跷板、一个滑道),但零件怎么摆、怎么连接,全靠AI自己想。另一种更狠,叫目标约束合成,连零件清单都不给,只给一个高层目标和一堆物理规则,比如"让B球在A球进入共享区域之前就开始移动,但要保证A球优先通过"。AI得自己想清楚该用什么机构去实现这个目标。

这就相当于,第一种玩法是给你一堆乐高积木零件,让你自己搭出一个能运转的小机关;第二种玩法是只告诉你"我要一个能让第二个球等第一个球先过去的装置",连积木都不给你,你得先想清楚用什么零件、怎么拼。后者显然难得多,因为AI连设计空间都要自己摸索。

数据怎么来的:严格到近乎苛刻的筛选

光设计题目还不够,题目的质量直接决定了测评有没有意义。研究团队在构建数据集的时候,做了一套相当繁琐的验证流程。

对于第一道题,他们先从网上收集了大量展示机械原理的动画视频,然后用一套"生成-推断-验证-核实"的四步流程来确认这些视频是不是真的适合拿来考AI。

具体是怎么操作的?先用一个叫GPT-6 Astra的模型从静态图片里提取三条视觉证据,这些证据只能是从图片本身能直接看出来的东西,不能偷偷把动作描述进去。然后把这些证据交给另一个模型Opus 5,让它完全不看运动视频,仅凭这三条证据去描述整个机构应该怎么动。最后再让GPT-6 Astra拿这个描述去跟真实的运动视频做对比,看是否吻合。

如果吻合,就说明这张静态图片里确实藏着足够的线索能推断出完整的运动过程,这张图片才有资格进入测试集。如果不吻合,这张图片就会被淘汰,因为它意味着AI光看这张照片根本猜不出它该怎么动,拿来考AI也不公平。

GPT-6 Astra*:OpenAI在2026年发布的模型,论文中用于数据筛选、证据生成和代码修复等多个环节。

这个筛选逼真到什么程度?最后还要加一层人工审核,五位标注员亲自过一遍,把那些运动线索模糊、容易产生歧义的样本再踢掉一轮。

第二道题的数据构建思路不太一样。研究团队先搭了一个"原子组件库",里面是一堆预先定义好运动模式的基础机械零件,比如坡道、多米诺链、跷跷板、漏斗、四叶桨轮。只有那些运动清晰可辨、确实体现某种物理原理(而不是纯装饰性动画)的零件才能进库。

从统计数据来看,坡道占了30.12%,是用得最多的零件,接球碗占11.76%,多米诺链占9.29%。这些基础零件就像搭积木的砖块,AI要做的就是把这些砖块按照正确的顺序和空间关系拼成一条4到13个阶段的完整因果链。

第三道题的验证更复杂,尤其是目标约束合成这个子任务。每个任务规格都要同时满足三个条件:描述内容本身逻辑一致、不含糊;这个任务在机械上确实可行、能被解出来;而且真的存在一个有效的参考解法。任何一条不满足,这个任务就会被废弃。

这套流程走下来你会发现,光是"出题"这一步,研究团队就花了巨大的精力去确保每道题目都公平、可解、不含歧义。这其实揭示了一个常被忽视的事实:评测AI能力这件事,题目本身的质量比题目的数量重要得多。一道设计糙了的题目,测出来的结果毫无意义。

真正的发现:代码能跑,不代表世界做对了

现在到了最关键的部分,模型们考得怎么样?

研究团队测了一堆当下的主流模型,包括GPT-6 Astra、Claude Fable 5.1、Doubao-Seed-2.1-Pro、DeepSeek-V4.1-Flash、Qwen3.8-Max、Kimi K3、GLM-5.3-Flash。其中有两类评测方式,一类是用代理工具(像Codex CLI、Claude Code这种能自主调用工具、反复调试的编程助手)跑出来的结果,另一类是直接调API、一次性生成代码的结果。

第一个发现一点都不意外,却又让人印象深刻:代码能不能跑和跑出来的世界好不好,完全是两条曲线。

拿Doubao-Seed-2.1-Pro来说,它在第一道题里,初始版本的可执行率只有8%,意思是100次生成里只有8次代码能顺利跑完不报错。研究团队又用GPT-6 Astra去修复这些报错代码(只修技术性的bug,不改变场景结构),修复后可执行率飙升到了82%。听起来是个巨大的进步对吧?

但再看结构质量分数,修复前只有0.30分(满分10分),修复后也只涨到2.16分。运动准确度分数更惨,从0.20涨到1.04。

这意味着什么?意味着那82%跑起来的代码,大部分是能运行的空壳,机构摆在那里,但基本不符合参考图的结构,运动也基本是错的。可执行率涨了74个百分点,但真正做对的程度只涨了不到2分。这就好比一辆车,修好了发动机能打着火,但方向盘是歪的,刹车不灵,油箱里装的是水不是油。它"能启动",但完全不能叫"修好了"。

反过来看表现最好的两类系统,一个是用代理工具跑的GPT-6 Astra (Codex CLI),一个是Claude Fable 5.1 (Claude Code)。这两个在所有任务里的可执行率几乎都接近100%,而且结构质量分和因果机制分也遥遥领先于其他模型。

这里就引出一个值得琢磨的现象:这两个表现最好的系统,都是"代理工具"类型,也就是可以反复试错、自己检查运行结果、迭代修改的系统,而不是一次性生成答案的裸模型。这其实在暗示一件事,构建一个真正能动的物理世界,很可能不是靠"一次想明白全部答案",而是靠"不断试、不断调"这种过程本身。

结构准和动得准,是两件不同的事

第二个有意思的发现出现在第一道题的细节里。

研究团队同时测了两个指标,一个叫视觉结构,衡量生成的3D场景在几何形状、空间排布上是不是跟参考图对得上;另一个叫机械运动,衡量生成的动作在类型、方向、幅度、时间进程上是不是跟参考运动一致。

有个有趣的不对称现象:运动分高的模型,结构分也高。但结构分高,运动分不一定高。

Claude Fable 5.1就是个典型例子,它的结构分有4.04,但运动分只有3.24,差了将近一分。

这说明了什么?运动的准确依赖于结构的准确,如果零件的位置、形状、相对关系本身就搭错了,那动起来肯定也是错的。但反过来,就算把每个零件的形状和位置都摆对了,这个机构照样可能不知道该怎么动,因为懂"这个东西长什么样"和懂"这个东西该怎么运作",是两套完全不同的能力。

打个比方,你把一台钟表的零件全部按图纸拆开再原样装回去,外观跟原装的一模一样,这不代表你明白齿轮之间是怎么咬合着带动指针转的。外观正确只是运作正确的必要条件,不是充分条件。

多阶段系统:步数越多,垮得越快

第三道有意思的发现来自长时程分析。

研究团队把第二题和第三题的结果按阶段数量分组,看模型表现随着阶段增加会怎么变化。结论很直接:阶段数越多,表现越差。

Fable 5.1在第二题里,大概在5个阶段附近出现了断崖式下跌。表现相对稳健的Fable 5.1 (Claude Code)和GPT-6 Astra(API版本),到13个阶段的时候,因果机制得分已经跌到短程表现的大约五分之一。只有GPT-6 Astra (Codex CLI)这个代理工具系统表现得最稳,衰减幅度最小。

GPT-6 Astra在第三题的组件约束合成任务里,表现尤其抢眼地跌,大概在5到8个阶段之间突然断崖,8个阶段的时候因果机制分已经跌破1.0分。

这个现象其实很符合直觉,但数字摆出来还是挺震撼的。想想看,你让一个人单手转三个盘子,难度不算太大,但让他转十个盘子,哪怕每一个盘子单独转起来都没问题,整体失败的概率会指数级上升,因为只要有一个盘子掉了,整条链就断了。多阶段机械系统的本质跟这个一样,每多一个阶段,就多一个可能出错的连接点,而这些连接点之间还要保持精确的空间距离和时序配合,出错概率是复合累积的,不是简单相加的。

这揭示了一个目前AI系统的硬伤:维持长链条的因果一致性,远比处理单一机构难得多。这不是靠堆更大的模型就能自动解决的问题,它牵涉的是系统在"记住并协调"大量相互依赖的约束条件时的能力极限。

给了动作参考视频,AI反而没进步多少

研究团队还做了一个挺有意思的消融实验:如果给AI不仅是静态图片,还额外给几帧从真实运动视频里截取的参考帧,会不会表现更好?

答案是,会好一点,但好得很有限。

在第一道题里,大部分模型加了运动参考帧之后分数有所提升,但只有GPT-6 Astra(API版本)出现了下降。在第二道题里,情况类似,多数模型小幅提升,GLM-5.3-Flash和GPT-6 Astra反而略微下滑。

这个结果有点反直觉。你会以为"给了动作提示,AI应该能更准确地复现动作"才对,但实际提升幅度相当有限。这说明的问题比表面看起来更深:AI缺的不是运动信息本身,而是把运动信息转化成可执行的力学逻辑这个环节出了问题。就像给一个不懂骑自行车力学原理的人看了十遍别人骑车的慢动作视频,他可能还是不知道怎么调整重心才能不摔。信息给够了,但理解和转化的能力没跟上,多给点素材帮助有限。

初始状态容易对,过程和结局总是错

第三道题里还有一个值得单独说的细节,目标满足度被拆成了三部分:初始状态是否正确、中间行为过程是否正确、最终状态是否正确。

数据显示一个很一致的规律:几乎所有API类模型在"初始状态"这一项的分数都明显高于"行为过程"和"最终状态"。

这意味着AI擅长把场景的起始布局摆对,一个球放在该放的位置、一个开关处于该处于的状态,这些静态的、一次性的配置相对容易做对。但一旦涉及到"这个过程要怎么推进"、"最后要停在什么状态",正确率就大幅下滑。

这其实揳中了整篇论文的核心命题:搭建一个看起来对的初始世界,远远不够。因为真正定义一个世界"是否成立"的,不是它开场的样子,而是它能不能按照该有的因果逻辑一步步走下去,并且走到正确的终点。这就跟搭多米诺骨牌一样,摆好第一张牌很容易,难的是让它倒下去之后,后面99张牌都按设计好的顺序精确地倒下。

写在后面

读完这篇论文最让我停下来想的,是那个"修复后可执行率飙到82%,但结构分只涨了不到2分"的数字对比。

这个细节之所以让人在意,是因为它戳破了一个在AI评测领域可能普遍存在的误区:很多时候我们用"代码能不能跑"这种相对容易衡量的指标,去代替"这个东西到底对不对"这种难以衡量但真正重要的指标。这不是ExeWorldBench特有的问题,而是任何涉及代码生成的评测都可能踩的坑,表面指标和实质指标之间,可能存在巨大的鸿沟,而这个鸿沟如果不被专门设计出来的测试戳破,很容易被忽略掉。

另一个让我意外的地方是,表现最好的两个系统都是能自主调试、反复试错的代理工具,而不是一次性输出答案的裸模型。这其实暗示了一种可能性:也许"理解物理世界并把它做对"这件事,本质上更接近一个需要试错迭代的工程过程,而不是一个靠一次性推理就能解决的认知任务。人类工程师造一台真正的机器,也从来不是一次画完图纸就直接焊接成功的,中间要反复测试、调整、再测试。如果这个类比成立,那么未来提升AI的"世界构建"能力,重点可能不在于让单次生成更聪明,而在于让整个试错和修正的循环更高效。

长时程衰减那部分数据也值得单独咂摸一下。阶段数从4涨到13,表现跌到五分之一,这不是线性衰减,是复合衰减。这让我想到,也许未来评价一个AI系统"懂不懂物理世界",关键的测试点压根不该是单个动作做得多准,而是它能撑住多长的因果链条不崩。这个尺子,可能比准确率本身更能说明问题。

这篇论文测的只是机械装置,齿轮、坡道、骨牌。但如果把范围扩大到更复杂的物理世界,比如流体、柔性材料、多物体碰撞的混沌系统,现有AI系统的表现会垮到什么程度?这个问题目前还没有答案,但照着这篇论文揭示的趋势推测,恐怕不会乐观。

Q&A

Q1:ExeWorldBench是什么?

A:ExeWorldBench是中国科技大学团队提出的首个综合评测基准,专门检验AI模型能不能把对物理世界的理解,转化成真正可执行、能正确运转的3D代码世界,而不只是生成能跑但错误百出的代码。

Q2:为什么AI生成的代码能运行,评分却很低?

A:因为代码能运行只能说明没有语法错误,不代表场景结构、机械运动、因果逻辑是正确的。论文数据显示,有的模型修复后可执行率从8%涨到82%,但结构质量分只从0.30涨到2.16,说明大部分能跑的代码其实是空壳。

Q3:哪些AI模型在ExeWorldBench上表现最好?

A:表现最好的是GPT-6 Astra搭配Codex CLI代理工具,以及Claude Fable 5.1搭配Claude Code代理工具,这两类系统在可执行率和各项质量指标上都明显领先于一次性生成答案的API模型。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-