微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 AI靠多走几步就能变聪明吗?一篇论文揭穿了这个幻觉

AI靠多走几步就能变聪明吗?一篇论文揭穿了这个幻觉

2026-11-18 15:35
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-18 15:35 • 科技行者

你有没有想过这样一个问题:如果让一个AI模型多想几遍,它是不是就能变得更聪明?

这听起来像是常识。人做数学题的时候,打草稿、检查、修改,步骤越多往往越准确。那AI生成图像来解决问题,是不是也应该是步骤越多越聪明?

2025年,一群研究者盯着这个问题死磕了很久,最后得出一个让人意外的答案:不一定。

**事情要从一种叫"生成式视觉推理"的新思路说起。**

传统上,AI模型解决推理问题(比如走迷宫、解数独、找最短路径)靠的是文字链条式的思考,一步步写出推理过程。但最近有研究者发现,有些问题天生适合用图像来解决,比如空间规划、拼图、路径搜索,这些问题画出来比说出来更直观。于是有人提出:让AI直接"画"出解题过程,用生成图像的方式一步步逼近正确答案。

这套方法用的核心工具叫

流匹配*:一种生成图像的技术,它从一张完全随机的噪声图开始,通过很多步小的修正,最终把这张噪声图变成一张清晰、有意义的图像。每一步修正都由一个神经网络模型计算完成。

直觉上,这套方法天生就适合装进"推理"的外壳里。因为它要走很多步才能从噪声变成图像,那这"很多步"不就正好可以当成AI一步步思考的过程吗?第一步想个大概方向,第二步细化细节,第三步修正错误,这不就是人脑解题的套路吗?

确实有研究者把这个想法付诸实践,用流匹配直接生成"解题图像"来完成视觉推理任务,而且看起来效果还不错。

但这篇论文的作者们觉得不对劲。他们决定从数学上较这个真。

多走的步骤,可能只是白走

研究团队用了一套叫

电路复杂度*:计算机科学里用来衡量一个计算任务到底有多"难"的理论工具,核心看两个指标,一是电路的深度(信息要经过多少层计算才能得到答案,深度越大意味着需要越多轮串行的计算步骤),二是电路的规模(总共需要多少个计算单元)。

的理论工具,去刨根问底地分析流匹配的采样过程到底在做什么。结果发现了一件很反直觉的事:只要模型本身满足一些温和的正则条件(说白了就是模型的输出不会乱跳,变化是连续且有限度的),那么不管你让流匹配走多少步,比如走10步、走100步、走10000步,它能解决的问题的"难度上限"是不会变的。

这是什么意思?

想象你在玩一个"传话游戏",但不是传给很多人,而是你一个人反复小声修正同一句话,每次只改一个字。你改了1000次,这句话会变得多复杂?答案是,不会比你改10次复杂太多,因为你每次能改动的幅度太小了,1000次小修正加起来,整体上还是可以被几次大修正模拟出来的效果。流匹配的问题就出在这里:它的每一步更新幅度都被步数K严格限制,走的步数越多,每步能改变的东西反而越少,变化幅度是O(1/K)这个量级,也就是说步数翻倍,每步的改动量就减半。

论文证明了一件很扎实的事:因为整个采样过程本质上是在解一个连续的

常微分方程*:ODE的简称,一种描述量如何随时间连续变化的数学方程,流匹配的采样过程就是在一步步近似求解这样一个方程。

所以不管你把这个方程拆成多少个离散步骤来走,理论上总能找到一种替代的求解方式,用固定数量的并行计算轮次(不随步数K增长)就把整条轨迹模拟出来。换句话说,你看起来走了50步、100步,但这些步骤里真正蕴含的"串行计算深度",其实是一个常数,不会因为你多走几步就变多。

**这意味着,无论你用多强的采样器、走多少步,模型的推理能力都被焊死在它自己的电路复杂度等级上,加步骤不会让它变聪明。**

这个结论对应到现实的神经网络架构上,含义很具体。研究者提到,像标准的

对数精度*:指模型内部数值计算所用的精度位数,与问题规模的对数成正比,这是分析Transformer理论能力时的一个常见假设。

Transformer,如果不用思维链,它的计算能力被证明只能落在一个叫TC?的电路复杂度类里,这是一个相对较弱的类别,意味着它处理不了某些本质上需要"深度串行思考"的问题。

论文证明的是:即便你把这样的Transformer塞进流匹配的采样循环里跑很多步,它的能力依然锁死在TC?(或者更弱的AC?,取决于具体的架构变体),一步都没能往上提升。

这就好比你雇了一个只会做简单加减法的会计,然后让他把同一张报表反复检查1000遍。他检查1000遍能查出微积分里的错误吗?不能,因为他的能力上限从一开始就定死了,重复检查的次数再多,也突破不了他本身"只会算加减法"这个天花板。如果不设这个限制会怎样?那意味着任何一个弱小的模型,只要给它足够多的采样步数,就能解决任意复杂的问题,这显然和我们对计算能力的基本认知相悖。

证明这件事的过程本身也挺精巧,研究者用了一种叫

并行Picard迭代*:一种数学上求解微分方程的方法,它不是按时间顺序一步步往前推,而是把所有时间点上的值都先猜一个初始值,然后让它们互相修正,反复迭代几轮后,整条轨迹就同时收敛到正确答案。这种方法天然适合并行计算。

的技巧,把原本看起来必须顺序执行的K步计算,压缩成了O(L)轮(L是模型的

Lipschitz常数*:衡量一个函数变化有多剧烈的指标,数值越大说明输入稍微变一点,输出就可能变很多;数值越小说明函数很"平滑",输入的小变化只会引起输出的小变化。

)并行计算,而且这个轮数不随步数K的增长而增长。这就像原本需要1000个人排成一队依次传话,现在改成所有人同时根据邻居的猜测互相修正,几轮下来大家就能收敛到同一个正确答案,根本不需要排长队。

真正的破局点:让模型给自己留小抄

既然问题出在"每一步变化幅度太小,不足以承载复杂计算",那解法似乎也呼之欲出了:想办法让模型在每一步之间传递更多信息,变化幅度不再被步长卡死。

研究者找到的答案是一个叫

自条件*:一种让生成模型在采样过程中,把自己上一步对最终结果的"预测"重新喂回给自己,作为下一步的额外参考信息的技术。这个方法最早是2022年为离散数据的扩散模型提出的。

的技术。

具体怎么运作的?在传统的流匹配里,每一步的更新只依赖当前的噪声状态,这个状态变化幅度被步长死死限制住。但自条件做了一件事:除了传递当前状态,还让模型在每一步额外生成一个对"最终答案长什么样"的预测,这个预测会被当作下一步计算的额外输入条件,一起喂给模型。

这个预测值不受步长限制,因为它不是通过小幅度累加得到的,而是模型直接对最终结果做的一次"跳跃式"猜测,再根据当前的进展随时推翻重写。

打个比方。流匹配原本的采样过程像是你蒙着眼睛走迷宫,每一步只能挪动很小的距离,而且完全不知道终点大概在哪个方向,只能凭脚下的触感微调方向。这样走1000步,你积累的信息量其实很有限,因为每一步能纠正的偏差太小了。而自条件相当于给你加了一个"预估终点位置"的能力:每走一步,你都先猜一下终点大概在哪,然后朝着这个猜测方向走一大步,走完之后根据新的信息重新猜一次终点位置。这个猜测可以一次性大幅度改变,可以这一步猜终点在左边,下一步发现不对立刻推翻猜测,改成右边。如果没有这个"终点预估"的机制,你就只能靠蒙眼小碎步一点点试探,100步走出来的信息量可能还不如有预估能力时走10步的信息量。

论文把这个终点预测起了个名字,叫

内部草稿纸*:论文对自条件机制的一个比喻,意思是这个预测值不只是一个数值量,它承担的是一个计算状态的角色,模型可以在上面反复写字、涂改、记录中间结果,这正是传统流匹配缺失的关键能力。

这个比喻很贴切。因为正是这块"草稿纸"的存在,让模型在不同采样步之间可以传递任意复杂的信息,而不再受限于"每步只能改一点点"的物理约束。

训练上,研究者用了一个两阶段的办法:第一遍训练模拟采样刚开始时草稿纸还是空白的情况,第二遍训练模拟草稿纸已经有内容、需要在此基础上继续修正的情况。两次预测用同样的权重加总成损失函数,这样模型只需要多做一次前向传播,就能学会如何利用这块草稿纸。

从"常数深度"到"图灵机":理论上限被彻底打开

加入自条件之后,模型的理论能力边界发生了什么变化?

论文的核心定理证明,带自条件的流匹配,只要步数足够多,一个结构极其简单(属于AC?这个最弱电路类)的模型,居然可以模拟

空间受限图灵机*:一种理论计算模型,指的是计算过程中内存(磁带空间)使用量有限制的图灵机,它能解决的问题对应着一类叫PSPACE的复杂度类别,这个类别比P/poly(多项式时间可解问题)还要宽泛得多。

这意味着,只要给够采样步数,模型能解决的问题范围从原本的"常数深度电路能做的"一下子跳到了"整个空间受限计算理论能做的",这是一个质的飞跃。具体来说,论文证明步数为多项式级别时,模型可以解决P/poly类问题;步数达到指数级别时,甚至能触及PSPACE/poly这个更宽泛的类。

证明的办法也很直白:既然草稿纸可以承载任意信息,那就干脆让模型把一台图灵机的"纸带"内容和运行状态直接存在这块草稿纸上。每走一步采样,模型就模拟图灵机往前推进一步,纸带内容跟着更新。等模拟的图灵机运行到终止状态,答案就写在纸带上不再变化,模型只需要把这个固定不变的答案一路保持到采样结束。

这就好比原本你给一个只会查字典的助理一张纸条让他办事,他的能力永远局限在字典能查到的范围内。现在你给他配了一块白板,并告诉他每收到一条新指令就在白板上更新一下当前的工作进度,下次执行前先看一眼白板上写了什么。突然间,这个助理就能完成需要记忆、需要分阶段推理的复杂任务了,因为白板给了他保存状态和持续迭代的能力,而不再是每次都从零开始、靠一张便签条做判断。

需要指出的是,这个理论上的巨大跃升是有前提的,论文也坦承了这一点。这些证明依赖一些正则性假设,比如模型的输出变化不能太剧烈(即有界的Lipschitz常数)。现实中训练出来的模型是否严格满足这些假设,论文在附录里专门做了实证检验:他们对一个实际训练的线条追踪任务模型估计了Lipschitz常数,发现随着问题规模增大,这个常数会在大约400左右趋于稳定,没有无限增长的迹象,这给理论假设的合理性提供了一定的经验支撑,但这终究是实证估计,不是严格证明的上界。

三个"刁钻"任务,专门用来验证这个理论

光有理论证明还不够有说服力,研究者设计了三个任务,专门卡在理论预言的"分界线"上,用来做实锤验证。

第一个任务叫线条追踪,要求模型给五条穿过多个"排列阶段"的长折线上色,这个任务被证明属于NC?复杂度类,理论上难度刚好超出TC?模型(也就是普通流匹配可能够不到的水平)能处理的范围。第二个任务是长竖式乘法,要求模型完整画出一道多位数乘法的竖式计算全过程,包括每一步的进位和求和,这个任务的复杂度是TC?完全的。第三个任务是长文本渲染,要求把一段文字按照排版规则渲染成图像,同样是TC?完全的。

这三个任务都有一个共同点:它们的符号化版本的计算复杂度,恰好卡在普通流匹配(受限于AC?或TC?)理论上无法触及,而带自条件的流匹配理论上可以触及的那条分界线上。

实验结果印证了理论预测。在线条追踪任务上,用相同的训练计算量,带自条件的版本能把折线准确上色到第50个阶段(也就是全部正确),而普通流匹配只能稳定在第8个阶段左右就开始出错。在长竖式乘法上,带自条件的版本用不到一半的训练预算就能达到90%以上的准确率,而普通流匹配在整个测试的计算预算范围内都没能达到这个水平。在长文本渲染任务上,带自条件版本的字符错误率最终降到0.005左右,普通流匹配则一直徘徊在0.03到0.1之间,整整差了一个数量级。

更能说明问题的是一个叫"NFE缩放"的对照实验。研究者固定训练预算,只改变采样步数(也就是NFE,Number of Function Evaluations,函数求值次数,等同于走多少步)。结果普通流匹配在采样步数达到6步左右就饱和了,最终停留在平均正确前缀长度7.66的水平,无论后面步数怎么加都不再提升,一直到50步都是这个数。而带自条件的版本随着步数增加持续改善,在10步时就达到49.84,接近满分50。

这组数字直观地验证了论文最核心的那个理论结论:普通流匹配加再多步数也没用,而自条件版本真的能把多出来的步数转化成更深的推理能力。

更大规模的验证:从合成任务走到真实推理基准

除了这三个专门设计的合成任务,研究者还在一套更贴近真实应用的视觉推理基准上做了验证,这套基准包含五个任务:大规模视觉空间规划、走迷宫、

旅行商问题*:简称TSP,一个经典的组合优化问题,要求在给定多个城市坐标的情况下,找出一条经过所有城市且总距离最短的路径。

数独、拼图复原。

在相同训练计算量和采样步数的受控对比下,带自条件的方法在所有五个任务上都超过了普通版本,平均准确率从65.9%提升到76.7%,提升了10.8个百分点。其中旅行商问题的提升幅度最大,达到15.7个百分点,数独紧随其后,提升了19.5个百分点。

研究者还把这套方法放到一个200亿参数的大模型上做了更大规模的测试,并和此前的两个代表性工作做了对比:一个叫DiffThinker,是直接用图像生成方式做视觉推理的早期尝试;另一个叫EndoCoT,是把多模态大语言模型里的潜在思维链和图像生成做了桥接的方法。结果显示,针对单个任务专门训练的自条件适配器平均准确率达到90.0%,明显超过DiffThinker的75.8%;而用同一个适配器同时在四个任务上联合训练,依然能达到90.2%的平均准确率,超过了联合训练版本的DiffThinker(66.1%)和EndoCoT(76.6%)。

自条件还带来了意外的"副作用"

研究者在分析生成轨迹时,还发现自条件机制保留了两个很有意思的特性,这两点是传统逐词生成的思维链方法天生做不到的。

第一个特性是并行局部计算。在长竖式乘法任务里,哪怕只走一步采样(NFE=1),生成的中间结果里超过98%的局部乘积都是正确的。这说明模型并不是按部就班地一步步写出答案,而是在一次计算里就能同时摆平多个局部子问题,这是传统一词一句往外吐的思维链方法做不到的,因为那种方法天生是顺序生成的,不可能同时产出多个独立正确的局部结果。

第二个特性更有意思,叫原地纠错。研究者做了一个实验:先让模型按问题A开始生成,走到某一步突然把条件换成问题B,看模型能不能把已经生成了一半的内容拉回来,重新对齐到问题B的答案上。结果发现,如果这次"调包"发生在采样轨迹的前半段,带自条件的版本有大约90%的概率能成功把答案纠正到匹配问题B;就算调包发生得稍晚一些,只要不超过轨迹的70%,它依然有相当的成功率,直到走到第35步左右才彻底失效。

这就像你在写一篇命题作文,写到一半监考老师突然说题目改了。如果你用的是那种写一句就焊死一句、绝不回头修改的写法,题目一改你基本就得从头重写。但如果你写作时一直留着一份"大纲草稿",每写一段就回头看看大纲对不对,那题目突然变了,你完全可以在不推倒重来的情况下,把后面的内容往新方向上拉。这正是自条件机制里那块"内部草稿纸"带来的额外红利,它不仅撑起了理论上的推理深度,顺带还让模型具备了类似"反悔"的能力。

Q&A

Q1:自条件机制和普通流匹配到底有什么本质区别?

A:普通流匹配每一步只能让状态变化很小的幅度(随步数增加变化幅度还会缩小),导致再多步也等效于常数轮并行计算。自条件额外让模型预测一个"终点草稿"并喂回下一步,这个预测可以大幅跳变,相当于给模型一块能随时改写的状态记录板,从而真正把多出来的采样步数转化成更深的推理能力。

Q2:这篇论文的理论结论在现实训练出来的模型上靠谱吗?

A:论文的理论证明依赖模型输出变化幅度有限(即Lipschitz常数有界)这个假设,研究者对实际训练模型做了实证检验,发现该常数随问题规模增长后趋于稳定(约400),为假设提供了经验支撑,但这只是实证估计,不是严格证明的上界,论文也坦承了这一局限。

Q3:自条件版本在实际任务上比普通流匹配到底强多少?

A:在三个合成任务上普遍有显著提升,比如长竖式乘法用不到一半训练预算就达到90%以上准确率;在五个结构化视觉推理任务上平均准确率从65.9%提升到76.7%;在200亿参数大模型上针对单任务训练的自条件版本平均达到90.0%,超过此前的DiffThinker(75.8%)等基线方法。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-