
有件事可能会让你愣一下:我们现在评价一个大模型答得好不好,基本上只看它吐出来的最后一句话。
对、错、打分、排名,全是终点的事。但一个大模型在算出这句话之前,内部其实经历了几十层的计算,每一层都在悄悄修改自己的"想法"。这个过程我们从来没看过,直接扔掉了。
这篇来自复旦大学团队的论文,就是想把这段被扔掉的"心路历程"捡回来,变成一个可以量化、可以用的信号。
模型也有"改主意"的过程,只是我们从不看
先说清楚问题出在哪。
Transformer*:当前主流大语言模型的核心架构,由多层堆叠的神经网络模块组成,信息会一层一层往上传递和加工。
一个大模型读一句话、吐一个词,表面上是瞬间完成的,实际上这个词要经过几十层网络的反复加工。第1层得出一个初步猜测,第2层根据上下文修正一下,第3层再调整一下……直到最后一层,才敢把答案交出来。
问题是,我们评价这个模型的时候,只看最后交出来的那个答案。中间那几十次"改主意"的过程,发生了什么,改得剧不剧烈,在哪一层改得最厉害,这些信息全部被丢弃了。
这就好比你去医院体检,医生只问你"现在感觉怎么样",却从来不看你过去一个月的体温曲线、血压波动。如果不记录这段轨迹,医生永远只能看到一个孤立的终点数字,看不出你是一路平稳走到今天,还是经历了剧烈起伏才勉强恢复正常。而这两种情况,背后的健康状况可能完全不同。
论文的作者们就是带着这个念头去挖的:这段被丢弃的"轨迹",到底藏着什么有用的信息?
怎么把一堆看不懂的数字变成"信念变化曲线"
这里有个技术上的难点,模型内部每一层的状态都是高维向量,人类根本没法直接理解这些数字是什么意思。想从里面挖信息,首先得找个办法把它们"翻译"成人能看懂的东西。
研究者用了一个叫logit lens的技巧来解决这个问题。
logit lens(逻辑透镜):一种让我们偷看模型中间层在想什么的方法,原理是把中间层的状态提前塞进模型最后用来生成答案的那个"输出层",看看如果现在就要模型做决定,它会给出什么样的词汇概率分布。
简单说,模型最后一层会把它的"想法"转换成一个词表上的概率分布,比如"下一个词是'猫'的概率是70%,是'狗'的概率是20%"。logit lens做的事,就是把中间每一层也都强行套上这套"翻译规则",这样我们就能看到模型在第5层、第10层、第20层分别"倾向于"说什么词。
这个由概率分布组成的东西,论文管它叫模型的"信念"(belief)。信念会随着层数一层层变化,第0层到第1层变一点,第1层到第2层再变一点,一直变到最后一层拍板定案。这一串变化,就是论文标题里说的"信念轨迹"。
有了轨迹,下一步就是量化"这一步到底改变了多大"。
用JSD量化每一步的"改主意幅度"
量化"改变幅度"听起来简单,但怎么量才算合理,这里有讲究。
JSD(Jensen-Shannon散度):一种衡量两个概率分布差异大小的数学工具,取值在0到log2之间,数值越大说明两个分布差异越大。
论文给每一层相邻的信念变化都算一个JSD值,定义为"信念轨迹能量"(Belief Trajectory Energy,简称BTE)。层与层之间的信念差异越大,说明模型在这一层对自己的判断做了更激烈的修正。
但这里有个很容易被忽略的陷阱:如果模型只是把所有词的概率均匀地往上提一点或往下压一点,这其实是一种"无意义的抖动",而不是真正的判断修正。JSD这个指标恰好能自动过滤掉这种噪音。论文里有一个数学证明,说JSD在局部近似等于一个加权方差,权重就是模型当前对每个词的信念强度。换句话说,模型越相信某个词可能是答案,这个词概率的变化就越被重视;模型根本不关心的词,概率怎么变都不影响BTE的大小。
这就像你在用体重秤称体重,一个好秤只应该反映你身体本身的重量变化,而不应该因为你脚底下地板轻微晃动就给出不同读数。如果不做这层过滤,统一偏移的噪音会把真正的"判断修正"信号完全淹没,你根本分不清模型是真的在纠结,还是只是数值上的漂移。
论文还从几何角度给了这个设计一个更硬核的背书:这个加权方差形式,恰好对应着概率分布空间里的"Fisher-Rao度量",是统计学里公认的、不随坐标变换而改变的标准几何结构。
Fisher-Rao度量:统计学中用来衡量概率分布之间"本质距离"的一种几何工具,不会因为你换一种参数化方式而给出不同答案,被认为是衡量分布差异最"公正"的标尺之一。
这说明BTE不是工程师拍脑袋设计出来的指标,而是有数学根基的、衡量"预测修正"的自然方式。
只看起点和终点,会漏掉什么?
接下来有个更深的问题:既然我们已经能算出初始信念和最终信念之间的差距,为什么还要费劲保留中间每一层的变化?直接看起点到终点的差距不就够了吗?
论文用三角不等式证明了一件事:所有中间层变化的累加,一定大于等于起点到终点的直接差距,除以层数。
这意味着,哪怕两个模型最终答案一模一样,起点想法也一模一样,它们走过去的路径可能完全不同,一个可能是平稳渐进地改,另一个可能是前面剧烈震荡后面突然收敛。这两种"心路历程",用起点终点差是分不出来的。
想象两个人去爬同一座山,起点相同,终点相同,直线距离也相同。但一个人沿着平缓的盘山公路慢慢走上去,另一个人先爬到半山腰又折返下山,再从另一侧陡峭地冲上去。如果只记录起点和终点的海拔差,这两段完全不同的经历会被记成同一个数字。如果不记录完整路径,你永远不知道哪个人更累、哪段路更危险、哪里最容易摔跤。
BTE选择保留整条轨迹,正是为了不丢掉这些"路径细节"。
从一堆数字压缩成一条"深度画像"
光有逐层变化量还不够用,因为一句话有很多个词,每个词在每一层都有一个BTE值,拼起来是一个"词数×层数"的大矩阵,根本没法直接比较两段不同长度的文本。
论文的解决办法是对所有词取平均,只保留层这个维度,得到一个固定长度的向量,叫做BTE深度画像(depth profile)。
BTE深度画像:把一段文本在每一层产生的平均信念变化值排成一串数字,形成一个和文本长度无关、只反映"模型在哪一层改主意改得最厉害"的指纹式表示。
这步平均操作看似简单,背后其实有讲究支撑:论文发现BTE信号是"均匀分布"的,不是靠少数几个词撑起来的,排名前5%的高能量词只贡献了差异的8%左右。这说明取平均不会丢掉关键信息,因为压根没有哪几个词在"一枝独秀"。
图1里展示的整个流程很直观:一段文本进去,每一层都读出一个信念分布,层与层之间算JSD,再对词取平均,最终压成一条曲线。这条曲线,就是论文后续所有实验的基础材料。
用BTE当"免训练难度计":模型觉得这题难不难
有了这条曲线,第一个自然的问题是:它能不能直接拿来衡量一道题的难度,而且不用额外训练任何分类器?
论文在MATH-500(分五个难度等级的数学题)、ProofWriter(逻辑证明深度1到5)、StepGame和SpaRTUN(空间推理跳数1到5)这几个基准上做了测试,用参考答案喂给模型打分,只取中间层(第12到19层,总共32层的模型)的平均BTE作为难度分数。
结果是,BTE确实随着官方标注的难度等级稳步上升,相关系数从0.33到0.66不等,置信区间都不包含0,说明这个趋势相当可靠。
但更有意思的是接下来这条线:同一批题目,换一个模型来打分,难度排序可能会变。
论文发现,像DeepSeek-R1-Distill-Llama这种数学能力特别强的模型,给MATH-500打的分反而比GSM8K(相对更简单的数学题)还低,顺序倒过来了。作者的解释是:模型对某类数据见得越多,哪怕题目本身依然很难,模型处理起来也会显得更"驾轻就熟",信念修正幅度反而变小了。
这就好比让一个每天做100道微积分题的数学老师和一个刚学完加减法的小学生,分别去做一套中等难度的微积分题。小学生做的时候脑子里天翻地覆,各种概念在打架;老师虽然也在认真算,但大脑里的"震荡"远没有那么剧烈,因为这类题目他已经处理过成千上万次。如果只看BTE数值,你可能会错误地以为这套题对老师来说"更简单",但其实题目的客观难度没有变,变的是处理者的熟悉程度。
这说明BTE衡量的不是一个放之四海而皆准的"客观难度",而是一种模型与数据之间的相对关系。这恰恰是论文想强调的核心观点:评分模型本身,也是测量工具的一部分。
用BTE的深度画像抓AI写的审稿意见
验证完标量能不能用,论文又往前走了一步,问:如果不压缩成一个数字,保留完整的深度画像,能不能做更精细的区分?
这里选了一个很接地气的测试场景:区分一篇论文审稿意见是人写的还是AI写的。
研究者收集了ICLR和NeurIPS 2021到2024年的真实审稿记录,同一篇论文既有人类审稿意见,也有GPT-4o、Gemini、Claude等七个不同生成器写的审稿意见。用BTE深度画像训练一个简单的逻辑回归分类器,在论文不重叠的严格测试条件下,Qwen模型打分配合BTE特征,宏平均AUROC达到了0.998。
AUROC:一种衡量二分类模型区分能力的指标,取值在0.5(瞎猜水平)到1(完美区分)之间,数值越高说明分类效果越好。
这个数字意味着,几乎可以做到100%准确地分辨出哪份审稿意见是AI生成的,哪份是人写的,而且这个结论在论文、会议年份完全不重复的情况下依然成立,说明学到的不是某篇论文的特定内容,而是更底层的、模型处理人类文本和AI文本时表现出的系统性差异。
更耐人寻味的是一个反转现象。论文训练阶段只用了GPT-4o、Gemini-1.5、Claude-3.5这三个"老一代"生成器,测试时碰上GPT-5.5、GPT-5.6、Claude Opus 5这些新模型,检测准确率明显下降。为什么?
研究者去看了深度画像的具体形状,发现早期生成器的审稿意见在中间层和最后几层,BTE普遍比人类审稿意见低,这个差距随着模型代际更新逐渐缩小,到Claude Opus 5甚至反过来超过了人类水平。
与此同时,论文找了6位NLP研究者做人工评审,盲测比较人类和AI审稿意见的质量。结果GPT-5.5、GPT-5.6、Claude Opus 5这三个新模型的审稿意见,被人类评审员偏好的比例达到0.878,远超平局线0.5;而老一代三个模型只有0.531,几乎打平。
更关键的是,这个人类偏好分数和BTE的"中间层偏移量"之间的相关系数高达0.857。
这段发现挺值得琢磨:AI审稿意见越写越像人类,被检测出来的难度就越大,但这恰恰是因为它写得越来越好了,好到human评审员自己都更喜欢它。检测AI文本和判断AI文本质量,渐渐变成了一枚硬币的两面。
更进一步:不仅能分辨人机,还能认出具体是哪个模型写的
分辨完"人写的还是AI写的",论文又往细处挖了一层:能不能认出这份AI审稿意见,具体是GPT写的还是Claude写的?
这需要比刚才更丰富的特征,因为深度画像是对所有词取了平均的,细节被抹掉了不少。论文额外保留了一些词级统计量:标准差、10/50/90百分位数、按位置分成四段的均值、相邻层的自相关系数、前10%高能量词的均值。
这些统计量叠加起来,用Llama打分的八分类(人类+七个生成器)准确率从只用均值的86.4%提升到93.2%,用Qwen打分则从91.3%提升到95.6%。
这就好比破案的时候,如果只有一个模糊的监控截图,你顶多能判断"这是个人"还是"这是辆车";但如果能拿到完整的行车轨迹、速度变化、刹车习惯,你就能缩小范围,甚至锁定具体某一个嫌疑人。从深度画像到词级统计量的升级,就是给判断提供更多"行为细节"。
剩下的分类错误主要集中在GPT-5.5和GPT-5.6之间互相混淆,这两个模型大概率风格太接近,连BTE也分不太开,其余模型基本能被清楚区分开来。
BTE跟着训练一起"发育":从懵懂到敏锐
前面的实验都是拿训练好的现成模型去打分,论文最后还追问了一个更底层的问题:这种能力是模型与生俱来的吗?还是随着训练逐渐学出来的?
研究者追踪了OLMo-2-7B这个模型从随机初始化开始,一路经过不同训练阶段(0.5万亿token到4万亿token)的BTE表现。
结果相当直观:刚初始化、什么都没学过的模型,给MATH-500五个难度等级的题目打出来的BTE几乎一模一样,中间层均值都是0.013,标准差小于0.0002,说明它压根分不清题目难不难。
随着训练推进,BTE数值整体在涨,尤其是中间和靠后的层,中间层BTE从0.013一路涨到0.093,涨了七倍。同时,BTE和难度的相关性也从训练初期的负相关(-0.13)逐渐转正,到训练末期(4万亿token)变成+0.03,而训练数据量更大的Llama-3.1(15万亿token)则达到了+0.36。
这说明BTE反映的"难度敏感性"不是架构自带的,而是模型在吃进海量数据的过程中慢慢学出来的,是一种被训练塑造出来的能力,而不是天生的几何性质。
更有意思的是针对性微调的实验。研究者专门拿数学题去微调Llama,结果微调后模型在MATH-500上的BTE下降了22%,在GSM8K上只下降17%,两者的相对顺序甚至被反转了。在MATH内部也一样,专门用难题(4-5级)微调,难题对应的BTE下降幅度(19.7%)比简单题(17.5%)更大。
这再次印证了前面那个"熟能生巧会压低BTE"的猜测:你给模型喂什么数据,它对那类数据的"惊讶程度"就会系统性降低,这个降低的幅度甚至能反映出训练暴露的具体方向。
这件事能用在哪,又不能用在哪
通读下来,BTE这套方法有几个清晰的适用边界,值得单独说一下:
它依赖打分模型本身,同一组题目换个模型打分,难度排序可能会变,这不是bug,而是这个方法的本质特征。用BTE之前,得先想清楚自己到底想测量"客观难度"还是"这个特定模型眼中的难度"。
它对响应长度有一定敏感性,论文自己也做了长度控制的消融实验,发现控制住长度后部分相关性会减弱,但不会完全消失,说明BTE捕捉到的是难度相关因素的混合体,而不是纯粹的、剥离长度影响的难度信号。
它需要能够访问模型内部权重,这意味着闭源模型(比如纯API调用的GPT系列)没法直接套用这套方法,至少论文里的实验全部是在开源模型(Llama、Qwen系列)上完成的。
写在后面
读完这篇论文,最触动我的其实不是某个具体的实验数字,而是作者反复强调的那句话:评分模型的选择,本身就是测量的一部分。
这跟我们平常理解"测量"的方式不太一样。我们总觉得测量工具应该是中立的、客观的,一把尺子量出来的长度不会因为换个人来量就变化。但BTE这套东西告诉你,同样一道题,让数学天才模型来"感受"和让普通模型来"感受",得到的"震惊程度"是不一样的,而这种不一样恰恰可能包含信息,不是噪音。
这让我想起心理测量学里一个老问题:同一套智力测验题,给不同文化背景的人做,分数的含义可能完全不同。测验本身没错,但解读分数时必须考虑"谁在用这把尺子量谁"。BTE某种程度上是把这个道理搬进了大模型的世界。
还有一个细节我觉得值得单独拎出来说:论文里提到,AI审稿意见写得越来越好,被人类评审偏好得越来越多,和人类审稿意见的BTE差距也同步缩小,到Claude Opus 5甚至反超人类。如果这个趋势继续下去,若干年后,"用内部信念轨迹区分人机"这个任务本身可能会自然消解,不是因为检测技术不行了,而是因为AI真的写得和人一样好了,这事连AI自己的大脑活动模式都藏不住了。
到那个时候,我们要问的问题可能就不再是"这是不是AI写的",而是"AI写得这么像人类专家,是不是说明我们该重新思考'专家'这个词的含义"。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。