
你有没有试过让AI帮你画一张"接下来会发生什么"的图?
比如给它一张乐高散件的照片,再给一张说明书,让它画出组装的四个步骤。这事听起来简单,不就是照着说明书拼起来吗?但当研究者们真的拿这道题去考各大AI模型的时候,几乎所有模型都在某个环节翻车了。有的漏装了一个零件,有的把零件的顺序搞反了,还有的干脆把积木的颜色都画错了。
这件事背后藏着一个挺有意思的问题:AI现在能不能像人一样,看懂一堆乱七八糟的信息,然后脑补出接下来世界会怎么变化?
一群来自清华、北大、Meituan LongCat、港中文等机构的研究者决定认真较这个真。他们搞了一套叫WorldCast的测试题,专门刁难那些号称"无所不能"的图像和视频生成模型。结果挺扎心的:就算是目前最强的GPT-Image-2.5,也只能考72.8分(满分100),而开源模型里最好的选手只有20.1分,连及格线都够不着。
这篇论文不是要吹捧哪个模型多厉害,而是想弄明白:AI距离真正理解并预测世界,到底还差多远。
为什么"画出未来"比"画一张图"难得多
先说清楚一件事:现在的AI画图已经很强了。你给它一句话"一只猫坐在沙发上",它分分钟给你变出一张照片级的图。这叫文本生成图像,业内简称T2I
T2I*:Text-to-Image的缩写,指根据文字描述直接生成静态图片的能力,是最基础的AI绘图能力。
但WorldCast要考的完全是另一回事。它不要求你画一张图,而是要求你画出一连串连贯的、符合逻辑的、会随时间推进的图片序列,就像拍一组分镜头照片。更麻烦的是,这些图片之间不是随便画画就行,必须严格遵守物理规律、游戏规则,甚至要看懂一张你从没见过的"说明书",再把这套方法套用到一个全新的场景里。
打个比方。你让一个孩子画"猫坐在沙发上",这是模仿训练,孩子见过猫和沙发的图片,拼凑一下就行。但你要是让孩子看一遍折纸教程,然后合上教程,自己拿一张完全不同颜色的纸,照着刚才看到的步骤把它折出来,这就不是模仿了,这是理解加迁移加执行,难度完全是两个量级。如果孩子只是机械记住了教程里纸张的样子而没理解折叠的逻辑,那换一张纸他就彻底懵了。WorldCast考的,正是这种"看懂逻辑再迁移执行"的能力。
研究者们把AI的视觉生成能力划分成了四个等级,从L1到L4,像一座能力金字塔。
L1是最基础的,就是文字生成图片,一次性出图,没有上下文,没有连续性。往上走,L2加入了编辑、可控生成、视频生成这些能力,模型开始能处理一些局部修改和时间上的延展。再往上是L3,这时候模型得具备动态推理能力,要能观察一个初始场景,然后推断接下来会怎么变化。最顶层的L4最复杂,模型得同时处理好几种性质完全不同的参考信息,比如一张图片里既包含了外观信息又暗含了物理规则,模型得把这些线索拧成一股绳,再转化成连贯的视觉输出。
研究者发现,目前几乎所有的评测基准都在考L1和L2级别的能力,L3和L4几乎是空白地带。这就好比大家都在拼命给小学生出加减法题,却没人发现这帮"学生"里已经有几个悄悄学会微积分了,只是没人测过而已。WorldCast就是为了补上这块空白而生的。
320道题,八种刁钻的考法
WorldCast总共设计了320个案例,横跨八个任务类别,总共要求模型生成1352个具体的视觉状态。这八类任务大致可以分成两档,L3级别三类,L4级别五类。
L3级别的三类任务是观察条件转换物理模拟自适应任务完成
观察条件转换*:要求模型先仔细观察初始画面,再根据每一步的文字指令,把动作准确地落实到画面里真实存在的物体上,而不是凭空移动一个"假想的"物体。
物理模拟*:要求模型根据物理定律或现实世界的运作规律,推演一个事件会如何自然演变,比如球从斜坡滚下来会怎样弹跳和减速。
自适应任务完成*:模型拿到的只是一个目标,没有逐步的操作说明,得自己拆解任务、推断该做哪些中间动作,并且要让每一步都跟着画面的实际变化走。
这三类任务已经够难了,但L4级别的五类任务更狠:视觉线索物理属性视觉目标实现逻辑与规则上下文程序学习
视觉线索*:光靠文字描述不够精确,模型还得结合图片里直接或间接给出的视觉提示,判断具体该在哪里、用什么方式去改变画面。
物理属性*:参考图片里藏着材料属性或物体状态的信息,但没有用文字明说出来,模型得自己推断出这个属性是什么,并且在后续的多步模拟中让它持续起作用。
视觉目标实现*:任务不给文字说明,直接给一张"最终应该长这样"的图片,模型得反推出中间该怎么一步步走到那个结果。
逻辑与规则*:好几张历史状态的图片加上一些文字线索,共同定义了一条隐藏的转换规则,模型得把这条规则归纳出来,并且在后续步骤里保持一致地执行。
上下文程序学习*:给出一份图文并茂的"教程",演示某个操作流程,模型得理解每一步在教程里起的作用,然后把这套流程套用到一个完全不同的新场景中,而不是照猫画虎地复制原教程的画面。
这八类任务里,我最感兴趣的是"上下文程序学习"这一类。论文里举了个折纸的例子:给AI看一份用白纸做的折纸演示,再给一张紫色纸,让AI按照演示的方法,把紫色纸折成同样的形状。这听起来简单,但实际上要求AI理解的不是"纸张长什么样",而是"折叠动作背后的逻辑步骤",这恰恰是最容易被AI混淆的地方,因为很多模型容易被表面的视觉相似性带偏,而不是真正理解动作的抽象含义。
怎么给AI的"预测能力"打分
既然要考试,就得有个靠谱的判分标准。WorldCast设计了三个评分维度:任务完成度因果合理性视觉一致性
任务完成度*:衡量生成的画面序列是否真的实现了用户想要的任务,它由两部分组成,一个是看整个过程走得对不对,另一个是看最终结果是不是达标了。
因果合理性*:检查画面之间的转换是不是符合物理规律或逻辑规则,比如会不会出现前后矛盾、因果颠倒这种离谱情况。
视觉一致性*:检查那些本该保持不变的东西,比如物体的身份、数量、形状、材质、摄像机角度、背景,有没有莫名其妙地发生了改变。
这三项打分不是人工一张张图去看的,用的是LMM作为评判者,也就是用一个大型多模态模型当裁判
LMM-as-a-Judge*:用一个强大的多模态大模型充当自动评分裁判,代替人工逐案打分,这里用的是GPT-5.5。
但这里有个麻烦。图像模型一次出几张图,视频模型出的是连续的视频,这两种东西怎么放一起比?研究者们想了个办法,不管模型吐出来的是什么形式,最后都统一转成一组有序的关键帧来打分。视频模型那边专门设计了一个智能体视频适配器,让AI自己去视频里挑出最能代表关键状态的几帧,这个适配器不负责判断视频拍得好不好看,它只负责确认视频里是否真的出现了任务要求的那些关键状态。
智能体视频适配器*:用一个AI代理去检查生成的视频,自动挑选出最符合任务要求的几个关键帧,从而让视频模型和图像模型能在同一套标准下被比较。
更有意思的是,研究者还为每个案例配上了人工标注的提示信息,只给裁判看,不给被考的AI看。这些提示会标出任务里哪些物体是关键的、哪些步骤是必须完成的里程碑、有哪些容易被忽略的硬性限制。这就好比老师批改作文时手里有一份评分细则,知道哪些点是必须踩到的采分点,而不是单凭印象打分。
为了验证这套自动打分系统靠不靠谱,研究者还专门找了六位人类专家,对五个代表性模型做了盲测对比。结果显示AI裁判和人类专家的判断相关性达到0.97以上,人类和AI的"获胜方"一致率超过86%。这说明这套自动评分系统基本可信,不是自说自话。
72.8分 vs 20.1分,差距是怎么拉开的
现在看真正的考试结果。研究者一共测了12个代表性模型,分成三类:开源图像模型专有图像系统视频系统
先说最亮眼的成绩。GPT-Image-2.5拿下了72.8分的总分,是所有模型里最高的,而且它在五个L4级别的任务上全部拿到了60分以上。这说明目前最前沿的模型,已经隐约具备了一点"预测世界状态"的早期能力,它能相对靠谱地模拟出家庭活动和科学实验里的流程,也能在拼图或者游戏类的推理题上超过其他对手。
但即便是这个最强选手,也不是全线飘红。它在视觉目标实现这一类任务上只拿到61.3分,这说明从一张"目标图片"反推出该怎么一步步达成,对AI来说依然是个不小的坎。
再看看差距有多大。开源模型里表现最好的SenseNova-U1,L3阶段能拿到24.4分,但一到L4阶段就跌到15.0分,掉了9.4分。而GPT-Image-2.5在L3到L4之间只掉了2.2分,几乎没怎么受影响。这意味着什么?
模型越强,越能从复杂的输入信息里吃到养分,而不是被信息量压垮。
这其实有点反直觉。按照常理,任务越复杂,大家应该都表现得更差才对,但强模型反而在复杂任务里表现得更稳。比如GPT-Image-2.5在"视觉线索"这项任务上拿到76.7分,在"逻辑与规则"上拿到74.3分,都高于它的整体平均分。而Nano Banana Pro在同样两项任务上只拿到33.7分和41.4分,都低于它自己的平均水平。这说明强模型遇到更丰富的上下文反而能发挥得更好,而弱模型会被这些复杂信息直接绊倒。
下面这张表汇总了全部12个模型在八大类任务上的具体得分(节选核心数据):
| 模型 | L3总分 | L4总分 | 总分 |
|---|---|---|---|
| GPT-Image-2.5 | 73.8 | **71.6** | **72.8** |
| GPT-Image-2 | 68.3 | 63.7 | 66.2 |
| Nano Banana Pro | 45.6 | 39.5 | 42.8 |
| Seedream 5.0 Pro | 36.8 | 29.9 | 33.6 |
| Seedance 2.0(视频) | 51.9 | 41.6 | 47.2 |
| Wan 3.0(视频) | 46.0 | 32.8 | 39.9 |
| SenseNova-U1(开源) | 24.4 | 15.0 | 20.1 |
| Emu3.5(开源) | 16.5 | 7.4 | 12.3 |
| Qwen-Image(开源) | 6.9 | 4.0 | 5.6 |
从这张表能看出一个明显的断层:专有系统和开源模型之间隔着一条深深的沟,而且这条沟在越难的任务上越宽。纯生成式的Qwen-Image垫底,这说明只会"画画"不懂"推理",在这套测试里是行不通的。
还有一个发现挺颠覆认知的:生成连续的视频,不代表就能抓住关键的状态节点。GPT-Image-2.5虽然是图像模型,却反超了专门做视频的Seedance 2.0。这背后的原因可能是,支持交错生成的图像模型在训练时同样吃到了高质量的视频数据,拿到了时间维度上的监督信号,再加上背后挂着强大语言模型的推理能力加持,两边都占了便宜。
语言模型是隐藏的"军师"
说到这里,不得不提一个关键角色,语言模型增强器
语言模型增强器*:一个独立的强大语言模型,负责把用户简单的指令转化成信息更丰富、更精确的提示词,再交给图像生成模型去画,相当于给画师配了一个懂行的"军师"。
GPT-Image家族之所以表现这么突出,很大程度上是因为它背后站着GPT-5.5或者GPT-6 Astra这样的旗舰语言模型。为了验证这个猜想,研究者做了个有意思的实验:把Nano Banana Pro和GPT-6 Astra强行拼在一起,结果整体分数从42.8涨到了接近57分左右,涨幅相当可观,但即便如此,这个组合依然没能超过原生的GPT-Image家族。
这说明光换个聪明的"军师"是不够的,画师本身的功底和军师的默契程度同样重要。
这就好比一个顶级大厨配了一个厉害的点菜顾问,顾问能精准告诉大厨该放多少盐、几分熟最合适,菜品确实会变好吃。但如果大厨本身的刀工和火候控制就不到位,再好的顾问也救不了一道烧糊的菜。真正的顶级搭档,得是大厨和顾问长期磨合出来的默契,而不是临时拉郎配。
研究者还发现了一个细节:把GPT-Image-2背后的语言模型从GPT-5.5换成更新的GPT-6 Astra,整体分数只涨了一点点,而且在"物理模拟"这项上反而下降了。这进一步证明,语言模型和图像生成模型之间需要的是长期适配,而不是简单的"谁更新谁更强"。
一张图还是一组图:交错生成的秘密
图像模型有两种常见的出图方式。一种是交错生成,文字描述一步,画一张图,再描述下一步,再画一张,像连环画一样一帧帧往外吐。另一种是网格生成,把所有步骤一次性塞进一张大图里,拼成一个网格,像是把四张照片拼在一张拼图里。
交错生成*:图文交替输出,每一步都单独生成一张对应的图片,模型可以根据前面已经生成的内容调整下一步的内容。
网格生成*:所有步骤一次性生成在同一张图片里,排列成网格状,模型必须在生成之初就规划好全部内容,中途无法根据反馈调整。
研究者做了个对照实验,把GPT-Image-2.5从交错生成切换成网格生成,结果总分从72.8暴跌到50.1,掉了22.7分,其中"逻辑与规则"这项直接从74.3掉到23.0,几乎腰斩再腰斩。
这个差距为什么这么大?
如果一次性把所有步骤塞进一张图里,模型就没机会根据前面画出来的内容调整后面的内容,错误会在第一步就被锁死,后面没有任何纠正的机会。
这就像让一个人闭着眼睛一次性写完一整篇作文的四个段落,中途不许回头看自己写了什么,第一段一旦跑题,后面三段也只能跟着一起跑偏,根本没有回头是岸的余地。而交错生成相当于写一段看一段,发现不对还能及时调整方向。
但有意思的是,出图方式本身并不能完全解释模型之间的差距。换成网格生成之后,GPT-Image-2.5依然比交错生成的Nano Banana Pro分数高,而Nano Banana Pro即便换成网格生成,掉分幅度也比GPT-Image-2.5小得多,只掉了2.2分。这说明交错生成这种能力,本身也是建立在模型底层生成实力基础之上的,底子不够硬的模型,就算换了更好的出图方式也撑不起来。
研究者还做了个细致的分析,追踪了195个四步案例,看模型在第一步到第四步之间的准确率变化。结果很扎心:弱模型会随着步骤增加明显掉链子,SenseNova-U1从第一步的42.6%准确率一路跌到第四步的27.2%,掉了15.4个百分点。而GPT-Image-2.5全程保持相对稳定。默认状态下的Nano Banana Pro也从67.7%跌到48.7%,掉了19个百分点,配上GPT-6 Astra之后这个跌幅收窄到了6.2个百分点,但过程中依然会忽上忽下地波动。
这说明随着上下文越积越多,怎么保持生成质量稳定,依然是个没完全解决的难题。
给AI配个"代码助手",效果能有多猛
最让我觉得脑洞大开的一个实验,是研究者给语言模型配上了编程工具。他们基于Codex(一个代码智能体)搭了两套简单的框架。第一套只允许模型反复检查自己生成的图片并修改,但不许用代码。第二套则鼓励模型在正式生成图片之前,先用代码或者建模工具构建一个中间的可视化模拟结果,检查没问题了再去正式生成。
结果令人惊讶。光是加上"检查再修改"的循环,GPT-Image-2.5的分数就从72.8涨到了80.2,Nano Banana Pro配上GPT-6后更是从61.2涨到了72.5。而加上代码工具之后,GPT-Image-2.5的分数进一步冲到了82.4分。
论文里举了个特别生动的例子,讲一个叠毛巾的任务。AI代理一开始先用代码模拟出了整个折叠过程,但它并没有直接把这个模拟结果塞给生成模型去照着画,而是把它当成一份"内部参考资料",用来写出更精确的文字描述,先生成第一步。然后它检查生成的图片序列,发现某一步出了错,这时它才把之前模拟的结果当作视觉参考拿出来用,结果却画出了形状很怪异的毛巾。最后它换了个思路,从最终目标状态倒推回去,才算找到了一个靠谱的方案。
这段经历特别说明问题。代码模拟出来的东西,不一定要直接变成一张照片塞给画图模型,很多时候它更像是一份"内部笔记",用来帮AI理清思路,而不是当成现成的答案照抄。
如果你曾经准备过一场重要的演讲,你大概能理解这种感觉。你会先在草稿纸上列提纲、画示意图,这些草稿本身从来不会直接出现在最终的PPT里,但没有这些草稿打底,你的演讲逻辑很可能是乱的。代码模拟在这里扮演的,正是这样一份"草稿"的角色,它存在的价值不在于被直接展示,而在于帮AI把隐藏在脑子里的推理过程给显性化、具象化出来。
不过这套方法也不是万能灵药。研究者坦诚地指出,代码驱动的模拟有时候计算开销相当大,单次运行可能要超过一个小时,这在实际应用里显然太慢了。而且额外的指导信息有时候反而没起作用,甚至还拖累了结果,这也解释了为什么不同任务从代码工具中获得的收益很不均匀。研究者认为,未来的方向可能是把这种代码模拟到视觉渲染的能力,直接蒸馏进统一的多模态模型内部,让模型在训练阶段就把这种推理能力学会,而不是每次推理都临时抱佛脚地跑一次耗时的代码模拟。
写在后面
读完这篇论文,最触动我的其实不是那些分数本身,而是研究者们划分能力层级的这套思路。很多时候我们评价AI"聪不聪明",用的还是一些相对表层的标准,比如画得像不像、文字跟得紧不紧。但WorldCast提出的四层能力金字塔,其实是在问一个更根本的问题:这个AI理解的,到底是"画面"本身,还是画面背后那套运转的逻辑?
论文里那个折纸的例子我反复琢磨了好几遍。给AI一张白纸的折叠教程,让它套用到一张紫色纸上,这个任务看起来简单到不值一提,但它精准地卡住了很多模型的脖子。这让我想到,人类小孩学东西的时候,经常也是先在具体的例子上学会一个抽象的方法,然后才能把这个方法套用到一个完全没见过的新场景里。这种"举一反三"的能力,一直被认为是智能的核心标志之一,而现在看来,它也恰好是当前AI最薄弱的环节之一。
还有一点让我挺意外,代码工具和语言模型增强这些"外挂"手段,确实能大幅提升效果,但研究者反复强调,这些手段本质上都是在给一个能力有限的生成模型"打补丁",真正的出路还是要让理解和生成这两种能力在模型内部更紧密地融合在一起。这就好比你可以给一个记忆力不太好的学生配上各种笔记本和提醒工具,这些工具确实能帮他考出更高的分数,但如果真想培养出一个举一反三、融会贯通的学霸,最终还是得在他的脑子里把这些知识真正串联起来,而不是靠外部工具硬撑。
一个专门做物理模拟的AI、一个专门做视觉渲染的AI、一个专门做逻辑推理的AI,拼在一起能不能顶替一个真正统一的理解生成模型?这篇论文给出的答案似乎是,能顶替一部分,但顶替不了全部。
那条通往"真正理解世界"的路,AI大概才刚刚迈出几步。
Q&A
Q1:WorldCast是什么?
A:WorldCast是由清华大学、Meituan LongCat、港中文等机构联合推出的一套测评基准,专门用来考察AI图像和视频生成模型能不能像人一样预测世界状态的变化,包含320个手工设计的案例,覆盖八大任务类别。
Q2:目前哪个AI模型在WorldCast上表现最好?
A:GPT-Image-2.5系统表现最佳,总分达到72.8分,在五个L4级别的高难度任务上均拿到60分以上,展现出早期的世界状态预测能力,但即便如此也没能在所有任务上都稳定过关。
Q3:为什么交错生成比一次性生成一整张图效果好这么多?
A:交错生成允许模型一步步生成并参考前面已经画出的内容,能及时发现并纠正错误;而一次性网格生成相当于提前锁死所有内容,中途没有纠错机会,实验显示GPT-Image-2.5切换成网格生成后分数暴跌22.7分。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。