微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 视频世界模型记不住东西?也许它们根本没机会记

视频世界模型记不住东西?也许它们根本没机会记

2026-11-21 13:57
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-21 13:57 • 科技行者

你有没有玩过那种桌游,魔术师当着你的面把一个球放进三个杯子中的一个,然后快速挪动杯子,最后问你球在哪儿。如果魔术师根本没把球放进任何一个杯子,你猜错了,这能叫"记性不好"吗?

这篇论文讲的就是这么一件让人哭笑不得的事。

现在有一类叫做视频世界模型的AI系统,

视频世界模型:一种能够根据文字描述或图片生成连续视频画面的AI系统,被研究者寄望于像人类一样理解物理世界的因果关系,比如一个东西被藏起来之后还应该存在。

研究者们一直在测试这些模型的"记忆力":给它看一个场景,镜头移开一会儿,再移回来,问它记不记得东西还在不在原地,或者某个动作有没有发生。如果最后一帧画面不对,大家习惯性地下结论,模型忘事了,它的记忆机制有问题。

但这篇来自香港大学团队的论文站出来说,等等,你们可能从一开始就问错了问题。

魔术师根本没把球放进杯子,这不是记忆问题

论文的核心发现极其扎心,也极其简单:在他们测试的43个案例里,用Wan TI2V-5B这个视频生成模型,竟然有41个案例,模型连"把球放进杯子"这个动作本身都没做。

具体场景是这样的:第一个镜头建立场景,比如桌上有个盒子和几个彩色小球;第二个镜头是镜头移开,画面里什么线索都没有;第三个镜头镜头移回来,要求展示"盒子打开,露出里面的球"。结果呢,38次是有只手伸过来,但盒子压根没打开;3次是根本没人来开;0次是打开了但拿错了东西。

这意味着什么?

意味着测试"记忆"这件事,前提是模型得先完成"把球放进盒子"和"把盒子打开"这两个动作。如果这两个动作一个都没发生,你压根没有机会观察模型的隐藏状态有没有正确传递下去。这不是记忆力差,这是游戏还没开始。

研究者给这套新的评测方法起了个名字,叫MIST,一个专门用来把"场景有没有布置好"、"变化有没有被藏起来"、"最后到底有没有展示出结果"这三件事拆开来看的测试框架。

MIST:Missing-State Test的简称,一种三阶段评测设计,把"场景设置是否正确"、"藏起来的信息有没有提前泄露"、"最终揭示是否兑现承诺"分别打分,而不是混成一个总分。

MIST把每个案例拆成三个5秒镜头。第一个镜头负责把场景摆好,第二个镜头是个不透明的过渡(谁都看不到里面发生了什么),第三个镜头才是见真章的时刻,要求模型展示藏起来的那个状态。整个流程有点像你去参加一个魔术表演的后台审查,魔术师布置舞台的环节你看得清清楚楚(研究者管这叫setup,场景设置),道具藏起来的过程绝对不能有任何信息泄露(这叫leak,泄漏检测),最后揭晓结果的那一刻才是重头戏(这叫reveal,揭示检验)。

如果你只拿一个"魔术成功了吗"的总分来打分,你永远分不清是魔术师没把球放进杯子,还是魔术师真的让球凭空消失了。MIST的意义就在于把这两种可能性彻底分开。

研究团队发现,在那43个案例里,setup这一项得分高达0.852(满分1),也就是说场景布置这个环节模型做得相当不错;但reveal这一项的得分只有0.147,低得可怜。两个数字一对比,问题出在哪儿一目了然:不是模型记不住场景,是模型压根没有去执行"展示结果"这个动作。

这就好比你委托一个装修师傅,问他墙砌好了吗,他说砌好了,而且现场检查也确实砌好了;又问他墙上的画挂上去了吗,他说挂了,但你过去一看,墙上啥也没有。如果这时候你说这个师傅"记性不好,忘了挂画",那显然是文不对题,他根本没去挂。装修质量和记忆力是两回事,这个师傅的问题是执行力,不是记忆力。

研究者还专门检验了这第二个镜头,那个"不透明的过渡",是不是真的做到了不透明。结果是43个案例里,0个案例出现了答案提前泄露的情况。这就排除了一种可能的质疑:会不会是因为中间过渡镜头意外把答案暴露出来了,所以最后一帧的测试其实没有意义?数据说明不是这样,场景设置是场景设置,泄露是泄露,揭示失败就是揭示失败,三件事互不干扰。

光喊出答案还不够,得告诉它怎么做

发现问题之后,自然要想办法解决。研究团队试了好几种"提示词"策略,想看看到底什么样的指令才能让模型真正把动作做出来。

第一种策略最朴素,就是在最后一个镜头的提示词里直接写上"打开盒子,展示里面的球",这叫open-and-hold策略(开启并保持),结果reveal得分只有0.268,几乎没什么改善。

第二种策略是直接把答案告诉模型,比如明确写出"盒子里有一个橙色的球",这叫answer-only策略(仅告知答案),reveal得分提升到了0.684,有明显进步,但还不够好。

真正有效的是第三种策略,研究者把它叫做look-then-rewrite,也就是看了模型生成的失败画面之后,针对性地重写那段指令。不是简单塞进答案,而是先诊断失败的原因(是没动作?是绑定错了对象?还是镜头被挡住了?),然后只改写失败的那个动作描述,同时保留原来的角色、物体、时间顺序。

这个策略的reveal得分达到了0.763,是open-and-hold策略的近三倍。

但这里有个特别关键的细节,研究者做了个对照实验,用同样的重写策略,但这次把答案从提示词里彻底抹掉(确保0个案例出现答案泄露),结果reveal得分骤降到0.174,甚至比最朴素的open-and-hold策略还差,28个案例盒子压根没打开。

这个对照实验的意义在于证明:重写策略之所以有效,不是因为它写得更"聪明"或者句子结构更优雅,而是因为答案确实出现在了提示词里。

光靠调整句式、重新组织语言,骗不了模型去执行一个它本不打算执行的动作。模型需要的是明确的、具体的目标信息,加上针对性的动作指令,两者缺一不可。

这就像教小孩收拾房间,你光说"把房间收拾好"(相当于open-and-hold),小孩可能愣在原地不知道从哪下手;你直接告诉他"玩具放进红色箱子里"(相当于answer-only),他能做到一部分;但如果你蹲下来看了他之前收拾失败的样子,发现他把玩具和箱子的位置搞反了,然后专门纠正"玩具放进箱子里面,箱子盖子要留在外面"(相当于look-then-rewrite),这才是真正有效的指导。单纯换个说法重新喊一遍同样的话(研究里叫same-sentence对照,同款句子重采样策略,这个得分是0.635,比重写策略差),没有用。

基于这个发现,研究团队设计了一套叫M3-Agent的工作流程。

M3-Agent:全称Make the Missing Move,意思是"补上缺失的动作",一套测试时运行的流程,不需要额外训练任何新模块,只是在生成失败后,诊断问题、重写指令、让同一个冻结的模型重新生成一次。

这套流程分三步:先建立一份任务记录卡,写清楚需要出现的物体、它应该处于的绑定关系(比如在盒子里还是盒子外)、需要执行的操作,以及最终画面里必须出现的证据;接着用一个视觉语言模型检查生成的最后一帧,判断这次失败属于五种失败模式里的哪一种(没有动作、绑定错误、路径缺失等等);最后针对性地重写失败的那部分指令,重新生成,但原始那次生成结果仍然保留在候选池里,不会被直接扔掉。

为什么要保留原始结果?

因为研究者发现有个案例(代号R2-10)在原始生成里是正确的,重写之后反而变错了。如果不保留原始候选,这种情况就是在帮倒忙。这个细节其实挺有意思的,它说明"修改"不总是"改进",保留一个安全网是必要的保守设计。

三个赛道的数字说了什么

MIST是研究团队自己设计的内部测试,为了验证这套"诊断加重写"的思路是不是真的有效,他们还把同样的分析方法用到了两个已经公开发布的官方评测体系上,WRBench和MBench-T。

WRBench:一个要求视频里出现镜头离开再返回的评测基准,核心看的是角色离开后再回来,场景里该发生的事情(比如小孩坐下)有没有真的发生。

MBench-T:另一个评测基准,关注镜头返回后物体的状态是否按照指令发生了改变,比如一个被要求打碎的糖果,回来之后是不是真的碎了。

研究者发现,官方分数低的案例,失败的原因和MIST里发现的问题是同一类。WRBench上很多失败案例是镜头压根没完成"离开再返回"这个动作路径,小孩在坐下之前镜头就已经离开了,回来时椅子还是空的;MBench-T上很多失败案例则是镜头确实回来了,但糖果还是完好无损,没有被打碎。前者是"动作根本没执行",后者是"动作执行了但结果不对",这正好对应了MIST里"从不开启"和"开启但状态错误"这两种失败模式。

把M3-Agent的诊断重写思路用到这两个官方基准上之后,WRBench的官方分数T从0.452提升到0.570,涨幅26.1%;MBench-T的官方分数U从0.292提升到0.446,涨幅52.7%。

这里有个微妙的差异值得说一说。在WRBench上,分数的提升主要来自"路径补全",也就是让镜头真的完成离开再返回这个动作,研究者做了个成分分析,发现这部分提升里只有3%到4%来自画面变好看了,剩下的55%到56%来自"离开检查"这个环节的改善,41%来自"返回检查"环节的改善。换句话说,模型学会了把路径走完整,而不是单纯地让画面更精致。

但在MBench-T上,情况完全不同。这里的"keep-best"机制(保留最优候选),意思是每个案例生成多个候选结果,然后选分数最高的那一个保留,这个机制在23个案例里直接选择保留了原始的baseline结果,只在5个案例里选择了"强制离开返回"的版本,2个案例选择了"强制锁定最后一帧"的版本。

为什么会这样?因为研究者试过强制要求镜头离开再返回,结果发现这样做反而伤害了8个本来表现就很好(基线状态分数已经是1.0)的案例。这说明一个硬编码的、一刀切的"修复方案"是有风险的,对某些案例是对症下药,对另一些案例反而是画蛇添足。保留"选择不采纳"这个选项,恰恰是整个设计里最务实的一步。

这就像你去医院看病,医生给你开了一种新药,但不会强迫所有病人都吃,而是先看看这个病人现有的状态好不好,如果本来就恢复得不错,强行加药反而可能出问题。真正负责任的治疗方案,是允许医生说"这个病人不需要换药"。

但要把话说清楚,这里的"选择"机制本身就是一种事后诸葛亮式的操作,它需要先把所有候选结果都生成出来,再用同一套打分标准去挑最好的那个。论文自己也坦率承认,这是一种"oracle覆盖率估计",而不是一个真正能在实际部署中使用的智能筛选器。换句话说,这套方法证明的是"冻结的模型本来就有能力做对这件事,只是需要被正确地提示",而不是"我们做出了一个能自动判断该不该修改的系统"。

一个更扎心的测试:文字比画面更容易"骗过"裁判

论文里还藏着一个特别值得拿出来单独说的实验,关于评测用的AI裁判本身靠不靠谱。

研究者找了一个8B参数规模的视觉语言模型(和原本用来打分的122B大模型不同),分别测试它在几种输入条件下回答"画面是否展示了目标状态"这个问题的准确率。

结果很有意思:如果直接把标准答案的文字描述喂给这个8B模型,它有91%的概率会回答"是";如果把这段文字的词语顺序打乱,这个比例骤降到7%;如果只给它看模型生成的原始(未经重写的)最后一帧画面,它只有9%的概率认为目标状态出现了;但如果给它看经过M3-Agent重写之后生成的最后一帧,这个比例上升到56%,和前面提到的reveal得分0.56左右的数字基本吻合。

这组数字背后藏着一个挺重要的提醒:裁判模型能够轻松地从文字里"认出"正确答案,但要从画面里真正"看出"这个状态是否发生,难度要大得多。

这也解释了为什么研究团队反复强调:一个靠谱的评测方法,不能只靠文字匹配走捷径,必须让裁判真的去看最后一帧画面里发生了什么。同时,论文也坦诚地指出,这个8B模型的判断和官方WRBench、MBench-T的真实评分标准之间,一致性其实并不算高(在35%到50%之间),所以这个小模型只能作为一个辅助性的交叉验证,不能替代官方的评分体系。

这个设计也揭示了一个更深层的问题:如果一个评测系统的裁判本身容易被文字线索"抢跑",那整个评测的可信度都会打折扣。MIST选择用多个独立维度(setup、leak、reveal、inside)分别打分,而不是一个混合总分,某种程度上也是在防范裁判被单一捷径蒙蔽。

那么,模型到底有没有"记忆"

读到这里,你可能会觉得研究团队已经证明了模型是有能力做对这件事的,那是不是意味着这些视频世界模型其实已经具备记忆能力了,只是之前的提示词写得不够好?

论文在这里非常克制,几乎是逐字逐句地划清边界。

一个被判断为正确的最后一帧,并不等于模型内部真的存储并维护了这个隐藏状态。

研究者明确指出,他们证明的只是:冻结的模型,在被正确告知目标状态并得到针对性指令之后,有能力把这个状态渲染出来。这和"模型自己记住了之前发生的事情,并据此推理出了正确的后续画面"是两件完全不同的事情。

要真正证明模型具备记忆能力,论文给出了一个相当严苛的标准:需要有一个完全不知道目标答案的筛选器(target-blind selector),依然能够稳定地选出正确结果,并且要在没见过的测试案例上验证,还要配合人工标注。

这几个条件现在都还没有被满足。打开的盒子证明了"这个状态是可以被判断的",但不代表"这个状态是被记住的"。

这个区分乍一听有点学究气,但其实特别重要。就像你考试时蒙对了一道选择题,和你真的理解了这道题背后的知识点,表面上看都是"答对了",但背后的机制天差地别。如果一个系统评测的标准不够严格,蒙对的分数和真正理解的分数会混在一起,没人能分得清楚。

写在后面

读完这篇论文,最触动我的其实不是M3-Agent这套方法本身的有效性,而是它提出的那个几乎是"显而易见却被忽视"的问题:如果连动作本身都没发生,你凭什么说模型"忘记"了?

这让我想起一件有点好笑的事。很多时候我们评价一个系统"不行",其实默认了一个前提,这个系统至少尝试去做了,只是做得不够好。但这篇论文告诉我们,41个案例里有41个,模型根本没有尝试打开那个盒子。这不是能力不足的问题,是连赛道都没踏上去的问题。

这种"诊断先于评判"的态度,其实在很多领域都适用。一个学生考试考砸了,到底是因为不会做,还是因为根本没看到题目,还是因为看到了题目但理解错了要求?这三种情况需要完全不同的补救方法,混在一起谈"为什么考砸了"是没有意义的。

另一个让我反复琢磨的细节是keep-best机制在两个官方基准上截然不同的表现:一个是几乎全盘接受重写方案,一个是大部分时候选择保留原始结果。这说明同一个"修复思路",放到不同任务上,效果可能天差地别,甚至会帮倒忙。这提醒我们,在评估任何"改进方案"的时候,光看平均分提升是不够的,得去看这个提升背后,到底有多少案例是真的被救回来了,又有多少案例是被牺牲掉的。

论文最后留的这个口子也挺诚实的:现在还没有人能证明这些视频世界模型真的"记住"了什么。这不是一个悲观的结论,而是一个诚实的边界标注,它告诉我们下一步该往哪里走:去设计一个不知道答案、也能把正确结果挑出来的筛选器。那时候,才是真正检验记忆的开始。

Q&A

Q1:MIST评测方法是什么?

A:MIST是香港大学团队提出的一种评测视频世界模型的方法,它把"场景是否设置好"、"变化信息是否提前泄露"、"最终是否展示结果"这三个环节拆开单独打分,而不是像传统测试那样混成一个总分,从而能准确定位模型失败的真正原因。

Q2:为什么视频世界模型的记忆测试经常得分很低?

A:论文发现,很多所谓"记忆失败"的案例,其实是模型根本没有执行被要求的动作,比如要求打开盒子但盒子始终没打开。测试中43个案例里有41个属于这种情况,这说明问题出在执行环节,而不是记忆环节本身。

Q3:M3-Agent是怎么提升模型表现的?

A:M3-Agent是一套测试时运行的流程,它会先诊断生成失败的最后一帧属于哪种失败类型,再针对性地重写失败的指令部分,用同一个冻结模型重新生成,同时保留原始结果作为候选。这套方法让WRBench官方分数提升26.1%,MBench-T官方分数提升52.7%。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-