微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 LEV:一个决策模型,学会了自己判断该想多久

LEV:一个决策模型,学会了自己判断该想多久

2026-11-21 10:41
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-21 10:41 • 科技行者

你有没有遇到过这种情况:问同事一个简单问题,比如"今天几号",他秒答;但你问他一个复杂决策,比如"这个方案该不该上线",他会愣一下,皱眉,想一会儿才回答。

这种"该快就快、该慢就慢"的能力,人类几乎是本能。但对AI模型来说,这件事出奇地难。

2026年之前,做选择题式判断的AI模型基本是这样的:不管问题多简单或多复杂,它都用同一套计算量去处理,跑一遍固定层数的网络,吐出答案。简单题和难题,耗时一模一样。这就像一个工厂的流水线,不管来的是颗螺丝钉还是一台发动机,都按同一道工序走完,不能多检查,也不能少检查。

Lehigh大学等机构的研究者们发现了这个问题,并且拿出了具体的证据。他们做了个对比实验:用参数量小的Kev-0.8B模型和参数量大四倍的Kev-4B模型,在同一批231道公开测试题上作答。结果大模型比小模型多答对28道题,但这些多出来的正确答案全部集中在"中等难度"和"困难"题型上,因为简单题两个模型都能答对,根本不需要更大的模型。换句话说,那些额外的参数,在简单题上完全是在空转。

更有意思的发现是:小模型自己其实知道哪些题目它没把握。研究者把小模型答案中"信心最不足"的一半题目转给大模型处理,结果准确率几乎追平了大模型把全部题目都做一遍的水平。这说明一件事:计算资源不是不够用,而是花错了地方。

这就引出了这篇论文的核心问题:能不能让一个模型自己判断,这道题该想多深,然后按需分配计算量?

这篇论文提出的答案,叫LEV。

为什么现有的"让AI多想想"的办法都行不通

在LEV出现之前,想让AI多花点力气思考,大概有三条路,但每条都有明显的代价。

第一条路是级联(cascade)

级联:先用一个小模型回答问题,如果小模型不够自信,再把问题转给一个更大的模型重新处理一遍。

这个办法的问题在于,不自信的问题要被读两遍,相当于养了两个员工,简单任务让新人做,复杂任务转给老员工,但老员工接手时还得把前因后果重新听一遍,没法直接接着干。研究者测过,小模型Kev-0.8B本身已经要79毫秒,大模型Kev-4B要108毫秒,可级联路线里一旦问题被转交,耗时反而比直接找大模型还长,因为要经历两次完整的读取流程,还得同时养两个模型。

第二条路是生成式思考,也就是让模型像ChatGPT那样,先写一段推理文字,再给出答案。

这条路确实管用,论文里对比了两个开源的决策服务djev和OpenJev,带推理文本能让困难题的准确率提升9到13个百分点。但代价也很直白:每多写一句推理,就多花一点时间,而且是每道题都要付费,哪怕这道题根本不需要推理。论文里的数据显示,带推理的版本让困难题的处理速度慢了三到四倍,这还只是平均数,有些题目甚至生成了8192个词元还没给出有效答案。

这就好比开车去便利店买瓶水,导航却坚持要你先做一遍路况全面分析,哪怕这条路你每天都走、闭着眼睛都能到。推理能力本身没问题,问题是它被无差别地用在了所有场景上。

第三条路是把一个已经训练好的普通语言模型,硬生生改造成循环结构,也就是让同一组网络层反复跑几遍,指望它能自己多想想。

循环(loop)结构:不增加新的网络层,而是让同一组层参数重复运行多次,像反复咀嚼同一口饭,而不是吃下更多的饭。

研究者真的做了这个实验:他们在Kev-0.8B的骨干网络Qwen3.5-0.8B上,找了中间八层,加上可以调节的"闸门",让这几层可以循环跑两次,然后按Kev的标准流程训练。结果呢?循环结构训练完之后,闸门的数值几乎停留在接近零的位置,也就是说,模型压根没有学会使用这个循环,额外的计算通道形同虚设。论文的解释很直接:闸门一开始就是关闭的,梯度信号太弱,根本推不开它;如果反过来让闸门一开始就是打开的,又会把隐藏状态推到后面几层没见过的分布上,反而让准确率下降。

这就像给一栋已经盖好、装修完毕的房子硬凿一条新楼梯,住户发现楼梯通向一个从没规划过水电的房间,住了很多年还是习惯性绕开,这条楼梯等于白凿了。

三条路都走不通,那该怎么办?LEV团队换了个思路:不要在训练好之后才加循环,而是直接选用那些在预训练阶段就是循环结构的语言模型,这类模型比如Ouro和Nanbeige4.2,它们从出生那一刻起,循环就是身体的一部分,而不是后装的配件。

LEV是怎么工作的

LEV的核心设计可以拆成三块:循环骨干网络、每一步都能读取的判别头,以及一个决定何时停止的小组件。

先说循环骨干。LEV选用的Ouro和Nanbeige4.2模型,在预训练阶段,同一组解码器层会被反复运行多次(比如Ouro跑4次),每一次运行结束都会计算一次语言建模损失。这意味着,模型从一出生就被教育:每一步都要能独立交出一份"像样"的输出,而不是只有最后一步才算数。

这件事听起来简单,但背后的逻辑值得琢磨。打个比方,如果一个学生从小被要求"只有期末考试成绩才算数",那他平时做的每一次小测验可能都是敷衍了事的,老师也没法通过小测验判断他真实的学习进度。但如果这个学生从小学一年级开始,每次测验老师都认真批改、给出反馈,那么到了高年级,任何一次测验的结果都能比较可靠地反映他当下的真实水平。LEV选择的循环骨干网络,就是那种"从小被认真对待每一次测验"的学生,而后装的循环结构,则像是突然被要求交期中考卷、却从没认真做过的学生,平时的输出根本没法信。

有了这样的骨干,LEV在它的基础上加了一个共享的判别头(pointer head),这个判别头的任务是读取选项,给出每个选项的概率。关键在于,这个判别头在每一步循环之后都会被调用一次,而且所有步骤共用同一套判别头参数,训练时的损失函数是把所有步骤的损失取平均。

这样做的好处立竿见影:因为每一步都单独训练过,服务阶段只需要跑到第k步就能拿到一个可用的答案,计算成本大约是跑完全部步骤的k/R,R是总步数。换句话说,这一个模型checkpoint,天然具备在任意深度回答问题的能力,不需要为不同的"思考深度"分别训练不同的模型。

接下来是决定该想多深的那个组件:停止器(stopper)。

这是整篇论文里我觉得设计得最巧妙的一环。按常理,判断"这个答案够不够自信"最直接的办法是看模型给出答案的概率有多高,概率越高就越自信,概率不够高就继续往下想。这叫置信度阈值法,是早期退出(early exit)领域的常规做法。

早期退出:在深层神经网络中,如果某个中间层已经给出足够自信的答案,就提前停止计算,不再跑完剩余的层。

但论文做了个关键的诊断实验,结果让这个常规做法翻了车。研究者发现,浅层判别头(也就是只跑了一两步循环的模型)存在两个致命问题:第一,浅层输出在训练数据上看起来很自信,但换到新数据上就会掉链子。具体数字是,LEV-2.6B在校准数据集上,第一步给出的答案有94.8%是对的,可是换到一个全新来源的数据集Kev-Transfer上,同样自信程度下的答案只有78.9%是对的,差了16个百分点,这就是典型的"过度自信"。第二,置信度这个指标,分辨对错的能力尚可(AUROC在0.67到0.83之间),但分辨"哪些错误是靠多想几步就能纠正的"这件事上,几乎是瞎猜(AUROC只有0.46到0.61)。

这就好比一个刚接手新项目的实习生,自我感觉特别良好,觉得自己什么都懂,但真正测试下来,他对"自己哪里不懂"这件事完全没概念。你指望靠他自己判断"我需不需要再学习一下",基本靠不住。

于是LEV换了个目标:与其问"这个答案对不对",不如问"这个答案和模型想透彻之后给出的答案是不是一致"。

具体做法是,针对每个深度k,训练一个小的逻辑回归模型,输入是当前这一步和上一步答案的若干特征(比如最高概率、概率差距、信息熵等),输出是一个预测值:这一步的答案,是否已经和跑满全部步数之后的答案一致。如果预测的一致概率超过某个阈值,就在这一步停下来。

这个设计最妙的地方在于,训练这个停止器完全不需要人工标注的正确答案,它预测的目标是模型自己最终会给出的答案,而不是标准答案本身。这意味着,任何一个部署场景,都可以拿自己手头未标注的实际业务数据去调这个停止器,不需要额外花钱请人打标签。阈值的选取也很朴素:论文选的是能让至少98%的提前停止答案和最终答案保持一致的、最便宜的那个阈值。

这就像一个老员工在带新人,老员工并不去判断"新人这次做对了没有",因为他根本不知道标准答案,他判断的是"新人这次给出的方案,和他自己深入琢磨之后大概率会给出的方案是不是差不多"。如果差不多,就让新人自己拍板,省下时间;如果看起来差太远,再多给点时间深入想想。这套逻辑不需要外部的标准答案做参照,只需要观察自己平时的决策模式。

效果到底怎么样

论文在三个循环骨干网络(LEV-1.4B、LEV-2.6B、LEV-3B)上做了系统测试,结果挺扎实。

先看深度带来的提升。LEV-2.6B在JevBench基准上,从只跑一步的63.2%,一路提升到跑满四步的76.2%,涨了13个百分点。而且这个提升不是均匀分布的:简单题几乎每个深度都能做对,提升主要集中在中等难度和困难题上。论文细致统计过,从深度一到深度四,标准难度题净增10道答对,困难题净增19道,大部分变化是"错误被纠正"(困难题里29道由错变对,只有10道由对变错)。

再看按需深度的实际效果。停止器在不同难度的JevBench题目上,自动花了不同的步数:简单题平均只用1.2步,标准难度题用2.4步,困难题用3.0步,而且这个判断是在完全没见过题目难度标签的情况下做出来的。整体上,按需深度能节省15%到24%的计算量,付出的代价是不到1个百分点的准确率损失,这个水平和固定深度的组合方案相比,要么持平要么略胜一筹。

更严格的验证是锁定测试集,也就是在确定好配方和停止器之后才第一次读取的数据集。结果显示,按需深度在这个从未被看过的测试集上,依然把准确率损失控制在1个百分点以内。

延迟方面的数据也很直观。在50毫秒以下这个延迟区间,1.4B和3B规模的LEV模型,比同等延迟的普通密集模型(也就是没有循环结构的传统模型)和级联方案,准确率高出5.4到8.8个百分点。这个区间恰好是密集模型覆盖不好的地带,因为密集模型的参数量和延迟是绑死的,想要在20到50毫秒之间找到一个合适大小的模型并不容易,而LEV凭借一个checkpoint支持多档深度,正好填补了这个空当。

论文还专门做了个对照实验,验证"循环结构是不是真的比单纯堆参数更划算"。按浮点运算量折算,LEV模型其实和同等准确率的密集模型差不多甚至更费计算,因为每多跑一步循环,整个骨干网络都要重新算一遍。所以LEV真正的优势不在于省计算量,而在于省实际部署时的延迟和显存占用,这是两件不同的事。

哪些问题循环深度帮不上忙

论文也老老实实地指出了这套方法的局限。

在Kev-Breadth这个涵盖五个应用领域、十四个数据集的评测集上,研究者发现语言理解类任务从深度一到深度四能提升19个百分点,但有两类"品味判断"任务(Humicroedit和cfcolor,大致是判断幽默程度和颜色搭配这类主观性强的任务)几乎没有任何提升。研究者的猜测是,多步循环带来的额外计算,本质上是在做"串行推理",适合那些需要把多个事实串联起来才能得出结论的任务,而品味类判断可能根本不需要这种串联。

还有一类更棘手的情况:论文发现有12.6%的题目,模型在较浅的深度反而答对了,跑到最深的那一步却答错了。这意味着,"深度越深越准"这件事不是绝对的,有些题目存在"想得太多反而想歪了"的现象,而目前的停止器因为目标是"预测和最深层答案是否一致",天然没法捕捉到这种情况,它只能让答案趋同于最深层,没法超越最深层的判断水平。论文把这个列为未来值得继续挖的方向:如果停止器能不仅仅是追平最深层,而是真正识别出哪个深度给出的答案才是对的,或许能做得比现在的"深度越深越好"还要好。

另外,训练方式上也有讲究。论文比较了用LoRA微调和全参数微调两种方式,结果显示,对两个Ouro系列骨干网络,全参数微调反而让最深层的准确率下降了1.3到1.9个百分点,还抹平了按需深度相对固定深度组合的优势。这个结果有点反直觉,一般人会觉得"全参数训练肯定比只调一小部分参数效果好",但这里恰恰相反。

LoRA:全称Low-Rank Adaptation,一种只训练一小部分新增参数、冻结原模型大部分参数的高效微调方法,相当于在原有结构上加一层薄薄的"调味层",而不是把整道菜重新炒一遍。

这个现象背后的直觉也许是,循环结构本身已经在预训练阶段被精心调教过,每一步的输出分布都经过大量数据的打磨,如果用一个小小的LoRA适配器去"轻触"这个结构,相当于在原有的精密钟表上加了个小齿轮,不会破坏整体的咬合;但如果直接动骨干网络的全部参数,哪怕学习率调得很低,也容易把那套经过精心训练的循环节奏给搅乱。

写在后面

读完这篇论文,印象最深的其实不是LEV本身的准确率数字,而是那个关于"置信度阈值为什么失灵"的诊断实验。

我们通常默认一个前提:模型越自信,答案越可能是对的。这个直觉在很多场景下确实成立,但LEV的实验戳破了一个更细致的盲点,置信度能分辨对错,却分辨不了"这个错误是不是可以通过多想一步来纠正的"。这其实是两件完全不同的事情,前者问的是"你现在对不对",后者问的是"你再想想会不会更好",而很多依赖置信度做决策的系统,默认把这两件事混为一谈了。

这让我联想到一个很日常的场景:一个人对自己某个判断很有把握,但这个把握感本身,和"再深思熟虑一下会不会改变主意"完全是两回事。有些人越想越坚定,有些人越想越动摇,而光看他当下的自信程度,根本预测不出接下来会发生哪种情况。LEV团队选择不去赌这种自信程度,而是换成一个更朴素、更可操作的信号:这一步的答案,和"深思熟虑之后"的答案是否一致。这个转向看似只是换了个预测目标,但背后的思路转变挺值得玩味,与其预测一个主观的"对不对",不如预测一个客观可验证的"变不变"。

另一个让我反复琢磨的细节,是那个"循环结构必须从预训练阶段就存在,后装没用"的发现。这个结论其实隐隐指向一个更大的问题:很多能力,补课是补不出来的,必须在系统成型的早期就嵌入进去。这不只是技术上的巧合,可能是个更普遍的规律,无论是神经网络还是人类的学习轨迹,后期强行嫁接的能力,往往缺少早期浸润所带来的那种"浑然一体"的协调性。

论文最后留了个口子没关上:如果停止器不只是模仿最深层的答案,而是能真正学会判断"哪个深度的答案才是正确的",会不会打破"越深越准"这个假设,找到比当前最深层读出还要更准确的那个停止点?这个问题现在还没有答案,但它让我好奇,一个模型到底能不能真正学会判断自己什么时候该停止思考,而不仅仅是模仿自己思考得更久之后会得出的结论。

Q&A

Q1:LEV是什么?

A:LEV是一种决策模型,它通过循环运行同一组网络层来实现"思考更深",而不是像传统AI模型那样生成大段文字推理,也不像普通决策模型那样对所有问题都用同样的计算量,一个模型checkpoint可以支持多档思考深度。

Q2:LEV和普通的级联方案(先用小模型再用大模型)相比有什么优势?

A:级联方案需要把不确定的问题重新交给另一个模型读一遍,耗时反而更长,还得同时维护两个模型。而LEV的按需深度机制在50毫秒以下的延迟区间,比同等延迟的级联方案准确率高出7到8.8个百分点,且只需一个模型。

Q3:LEV的停止器是怎么判断该不该继续多想的?

A:它不是看模型答案的自信程度,而是预测当前步骤的答案是否会和模型"想到最深"时给出的答案一致。这个判断目标不需要人工标注的正确答案,可以直接用未标注的实际业务数据来训练和调整阈值。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-