同一堂考题，同一张答卷，却判出了不一样的分

你有没有想过这样一个场景：同一场考试，同一个考生，同样的答案，只是把试卷上的题目顺序打乱重排了一下，最后判出来的分数却完全不一样。

这听起来很荒谬，对吧。可这正是今天这篇论文揭示的事情,只不过"考生"换成了大语言模型,"考试"换成了给一堆文档或者回答打分排序。

研究者们发现了一件挺让人不安的事。你把同样的查询和同样的一百篇候选文档丢给一个大模型,只是把文档的呈现顺序打乱重排,模型打分排出来的名次质量,用常见的排序质量指标去衡量,居然看不出区别。可一旦你拿着这个排序去做实际决策,比如设个分数门槛筛选文档,两次打乱顺序筛出来的文档集合,重叠率只有六成到八成多。换句话说,排序质量指标说"没事,一样好",但下游真正要用的东西,已经悄悄变了。

这篇论文的题目直译过来是"排序质量相同,决策却不同",听起来平淡,但背后藏着一个很多人没意识到的系统性问题。

问题出在哪:当一张卷子要同时判好几份答案

先说清楚这个"打分"到底是怎么回事。

现在很多实际系统里,大语言模型不是一次只看一篇文档打一个分,而是把一批候选文档(比如20篇)一起塞进一个提示词里,让模型给每一篇都单独打分。这种做法叫**批量逐项打分**

批量逐项打分：把多个候选文档放进同一个提示词里,模型依次给每个候选项各打一个分数,既保留了每项独立的分数,又利用了候选项之间共享的上下文信息

这么做的好处很直接,因为指令、查询、评分规则这些"开场白"只需要生成一次,不用对每篇文档都重复输入一遍,所以推理速度更快,服务成本更低。

但问题也出在这里。既然这20篇文档是挤在同一个提示词里一起被模型"看"的,那么模型给其中第3篇打的分,就不再只取决于第3篇文档本身,还取决于前面排了哪些、后面跟着哪些、第3篇文档恰好出现在第几个位置。研究者给这种现象起了个名字,叫**呈现依赖**

呈现依赖：候选文档被打的分数,不仅取决于文档本身的内容,还取决于它在提示词里的位置、以及和它一起出现的其他候选文档,这种对"呈现方式"的敏感性

这就好比一场面试,面试官要连续见十个候选人再打分。如果你恰好排在最前面,面试官精神最好、标准最严,可能给你打低一点;如果你排在中间,面试官已经有点疲劳,反而放松了尺度;如果你恰好跟着一个表现特别差的候选人,你显得格外出色,分数就被衬高了。候选人本身的能力没有变,但面试官打出来的分数,会因为"谁在你前面、谁在你后面、你排第几个"而发生漂移。如果不把这种漂移当回事,面试官自己可能都没意识到,他给出的分数里,有一部分根本不是在评价候选人,而是在评价"候选人出现的时间点"。

这不是空想出来的毛病。论文里给了一个具体的例子:用Qwen3-4B这个模型,对同一个查询下的100篇候选文档,换两种不同的排列顺序去打分,结果排序质量指标nDCG@10完全一样,都是0.6131。但如果设一个分数门槛去筛选,两次打乱顺序筛出来的5篇文档,居然完全不是同一批;更夸张的是,如果把这5篇文档交给一个阅读理解模型去做事实核查,两次给出的结论一个是"证据支持该说法",另一个是"证据不足"。

同一个查询,同一批候选文档,排序质量指标说"没问题",但最终的判断结论,一次说"支持",一次说"信息不足"。

这就是论文反复强调的核心矛盾:**排序质量相同,不代表下游决策相同**

因为常用的排序质量指标,比如nDCG@10,它关心的只是排名前十的文档的相对顺序对不对,而真正要用的分数门槛,关心的是每一篇文档的绝对分数有没有超过某个阈值。打乱顺序可能让排名前十的内部排序几乎没变,所以指标纹丝不动,但一篇原本刚好卡在门槛线附近的文档,它的绝对分数可能被挤高或压低了那么一点点,就从"被选中"变成了"被淘汰"。指标看不见这个变化,但门槛看得见。

为什么这事值得较真:三种消费者都靠这个分数吃饭

你可能会问,排名内部顺序不变,门槛线上下的一点点抖动,真的那么重要吗。

论文给出了三类实际应用场景,说明这确实很重要。

第一种是搜索排序系统里的二阶段检索:先用一个便宜的方法(比如传统的关键词匹配算法BM25)粗筛出一百篇候选文档,再用大模型精细打分重新排序,最后设一个分数门槛,只把门槛以上的文档送进后续的审阅队列或者生成式回答的上下文窗口。这个门槛直接决定了用户最终能看到什么。

第二种是多文档问答系统:给模型十篇候选段落,让它选出排名靠前的几篇,再让一个阅读理解模型基于这几篇段落去回答问题。送进去的段落变了,答案可能就变了。

第三种是偏好学习,也就是训练下一代模型时常用的"选中/拒绝"配对机制。一个打分模型给几个候选回答打分,分数最高的那个被标记为"选中",用来训练后续模型该怎么说话。如果打分模型本身对顺序敏感,那么同一组候选回答,只是换个呈现顺序,"选中"的那条回答就可能变成另一条。论文的实验显示,在十次随机打乱顺序之后,一个偏好打分模型给出的"最优回答"在65.4%的查询上会发生变化。这意味着什么,意味着用来训练下一代模型的那份"标准答案",有超过三分之一的概率,只是运气问题,换个呈现顺序就不成立了。

这三种场景有一个共同点,它们消费的不是一个排序,而是一个决策。排序质量指标衡量的是相对顺序,但门槛、阅读理解模型、偏好选择,这些消费的是绝对分数或者绝对排名第一的那个结果。排序质量指标说"稳",不代表决策稳。

这就好比一个班级的期末排名表,前十名的名次表面上没有变化,大家都松了一口气。可学校奖学金的发放线卡在第八名和第九名之间,这次恰好第八名和第九名的分数差了0.1分,下次重新算一遍分,这两人分数差变成了负的,顺序对调了。排名表整体看起来一样稳,奖学金却发给了不同的人。

为什么会这样:模型读提示词的方式本身就不公平

要理解为什么顺序会影响打分,得往底层看一层。

大语言模型处理长文本的时候,对不同位置的信息关注度是不均匀的。这个现象之前已经被研究过,叫"迷失在中间"效应,大致意思是模型对开头和结尾的信息记得更清楚,中间部分容易被忽略。这篇论文把这个位置敏感性的测量方法,从整篇文章的层面,下沉到了排序这个具体任务的粒度上。

论文还做了一个细致的拆解实验,想搞清楚打分的偏差到底是哪个环节造成的。他们把一篇文档的打分波动,拆成了"所在批次的位置"造成的偏差和"同批次里的其他候选文档是谁"造成的偏差两部分。结果发现,后者,也就是"陪同打分的其他候选文档"这个因素,贡献了超过八成的分数波动,位置本身的贡献反而不到两成。

这个发现挺反直觉的。大家可能本能地以为,顺序偏差主要是"排第几"的问题,但真正的大头,其实是"你跟谁坐在一起"的问题。

这又让人想起面试的类比,但这次要往深一层想。如果面试官单纯因为你排第几个而打分有偏差,这是一种偏差;但如果面试官打分主要是因为"你恰好跟一个特别优秀的人编在同一组,所以你显得平庸",这是另一种偏差,而且更难察觉,因为表面上看起来大家都是"独立被评价"的,但实际上评价结果深度依赖于谁在场。论文发现后者才是主因,这意味着问题的根源不是简单的"开头结尾效应",而是模型在同一个提示词里,会不自觉地把候选项放在一起做隐性比较,哪怕评分规则上写的是"请独立评估每篇文档"。

治标不治本:提示词层面的修补为什么不够

既然问题是候选文档共享提示词导致的,那是不是改一改提示词的构造方式就能解决?

论文测试了两种常见的"事前修补"方案。

第一种叫**轮询分批**

轮询分批：原本按粗筛排名顺序把相邻的文档打包进同一个批次,改成把相邻排名的文档分散到不同批次里,避免相邻排名的文档总是挤在一起

这个方法确实提升了排序质量指标,涨了0.052个nDCG@10点。但研究者接着检查了门槛筛选出的文档集合重叠率、事实核查结论的翻转率、偏好配对的翻转率,发现这几个指标统统没有明显改善。排序质量涨了,但下游决策该乱还是乱。

第二种叫**对数值校准**,具体用的是一种叫CapCal的内容无关校准方法,简单说就是在模型打分之后,再做一次统计上的后处理调整,试图把因为位置带来的系统性偏差修正掉。结果是,这种校准既没有提升排序质量,也没有改善门槛筛选的重叠率。

两种方法都没有真正触及问题的核心。论文给出的解释是,这些修补都发生在"提示词怎么构造"这个层面,而顺序依赖这个毛病,根子是扎在模型内部的权重里的,不是提示词层面能解决的表面问题。

这就好比一台老式天平,两边的托盘因为材质受潮,重量会随温度微妙变化。你换一种摆放砝码的顺序,或者在读数之后做一个经验公式的修正,确实能让某一次称重结果看起来更准,但天平本身"因为环境变化而不稳定"这个物理问题,并没有被解决。真正要解决,得去修天平本身的机械结构,而不是在读数环节打补丁。

真正的解法:让模型自己学会"不管顺序怎么变,结论要一致"

既然提示词层面的修补不够,论文提出的解决方案走的是另一条路,直接在训练阶段下功夫。这个方法叫**顺序一致性监督微调**,论文里简称OC-SFT

顺序一致性监督微调(OC-SFT)：一种训练方法,让模型在同一批候选文档的不同排列顺序下打分,然后惊罚模型自己给出的分数在不同排列顺序之间的差异,逼着模型学会不管候选文档怎么排列,给同一篇文档打的分应该尽量一致

具体怎么做的。训练时,同一组候选文档,模型要用两种不同的随机排列顺序各打一遍分。其中一次排列的打分结果,要去逼近一个"老师模型"给出的真实相关性标签,这部分叫**关联性锚点**,保证模型打分准不准头。另一次排列的打分结果,则要和第一次的打分结果尽量接近,这部分构成了一个"顺序方差惊罚项",逼着模型意识到,同一篇文档不该因为换了个位置、换了批陪同的候选文档,分数就跳来跳去。

两部分缺一不可。论文明确提到,如果去掉关联性锚点那部分,模型会学成一个"打分很一致但完全不管相关性"的摆烂型选手,所有分数趋同,确实稳定,但没用。如果去掉顺序方差惊罚项,这个方法就退化成普通的单一顺序微调,顺序依赖的毛病照样存在。

这个思路让我想起另一个场景。假设你在训练一个新裁判,目标不是让他对单个选手打出绝对正确的分数(这件事本身可能没有唯一标准答案),而是让他明白,同一个选手不管排第几个出场,不管前面出场的是谁,打分不能大幅摇摆。你给他看同一个选手的两段录像,顺序打乱重放,然后告诉他,这两次你打的分差太多了,去调整你的判断标准。这就是在训练裁判对"呈现方式"脱敏,而不是在训练之后找人去修改裁判报出来的分数。

论文的实验数据显示,这个方法效果相当扎实。在passage重排序这个主要任务上,顺序不稳定性指标从单一顺序训练的0.209降到了0.083,降幕超过六成。门槛筛选出的文档集合重叠率从0.656提升到了0.835。而且排序质量指标nDCG@10基本没掉,甚至还略有提升,从0.449到0.459。

这组数字值得多说一句。它意味着,这不是一个"牺牲准确性换稳定性"的权衡取舍,这个方法在排序质量没有损失的前提下,让下游决策变得明显更可靠。

顺序敏感度指标:给"不稳定"一个数字

要衡量模型对顺序有多敏感,论文设计了一个叫τ-PSI的指标

τ-PSI(顺序敏感度指标)：对同一批候选文档随机打乱顺序十次,分别打分排序,再计算这十个排序结果两两之间的相关性,取平均后转换成一个0到1之间的数值,数值越低说明模型对顺序越不敏感,0代表模型把候选文档真正当成一个无序集合来处理,完全不受排列顺序影响

有了这个指标,研究者可以把"顺序依赖"这件原本模糊的事情量化出来,拿不同的训练方法去比较谁更稳。

论文还对比了另一种常见的应对思路,叫**批量自洽性**,简单说就是不改模型,而是在推理阶段,把同一批文档用好几种不同的排列顺序各打一次分,然后把结果取平均,用这个平均值当作最终分数。这种方法的好处是不需要重新训练模型,坏处是每多打分一次,推理成本就多一份,打十次顺序就是十倍的计算量。

论文的实验显示,顺序一致性微调方法只打一次分,就能达到比批量自洽性打十次分还更稳的效果,至少在排序和多文档问答这两个任务上是这样。这个结果有点出人意料,毕竟直觉上,打十次取平均怎么也该比打一次更稳。论文给出的解释是,批量自洽性只是在"消费"模型本身自带的随机波动,把它平均掉,但波动的根源,也就是模型权重里固有的顺序敏感性,根本没有被动。而顺序一致性微调是直接去修正这个根源,所以哪怕只打一次分,效果反而更扎实。

这又让人想起前面那个天平的类比。批量自洽性相当于反复称十次,取平均值,确实能部分抵消随机误差;顺序一致性微调相当于把天平内部那个受潮变形的部件换掉,从源头上让它少晃动。换掉零件之后,称一次就够用了,比反复称十次取平均还靠谱。而且这两种方法并不冲突,论文也验证了,训练过的模型再叠加推理时的多次平均,效果还能进一步叠加提升,说明两者解决的是不完全相同的问题层面。

这事只在排序任务里成立吗:多文档问答和回答排序的交叉验证

一个自然的疑问是,这个顺序依赖的毛病,是不是只在"重排序"这一种任务里特别严重,换个任务是不是就不存在了。

论文专门设计了另外两个任务去交叉验证。一个是多文档问答,给模型十篇段落,其中只有两篇真正包含答案所需的信息,让模型挑出最相关的几篇交给阅读理解模型去回答问题。另一个是回答排序,也就是给几个候选回答打分排序,用于偏好学习。

结果显示,顺序依赖这个问题在这两个任务里同样存在,顺序一致性微调同样能带来稳定性提升。而且论文还发现了一个有意思的细节,在多文档问答任务里,让候选段落共享同一个提示词(也就是模型能同时看到所有候选段落)这件事,本身是有好处的,它能让打分质量提高4.3个百分点,因为模型可以通过对比不同段落来判断谁更相关。但在纯粹的文档相关性打分任务上,这种"共享上下文"带来的额外好处几乎观测不到。而在回答排序任务里,这个共享上下文的好处是因收集而异的,有些测试集明显受益,有些测试集反而因此表现下滑。

这说明"把候选项放在一起打分"这个设计本身是一把双刃剑,它能带来跨候选项的比较信息,这在某些任务里有实实在在的价值,但也正是这个共享机制,引入了顺序依赖这个副作用。论文的态度不是建议大家彻底抛弃这种共享打分的设计,而是说,既然这个设计有其价值,那就该正面解决它带来的顺序依赖问题,而不是因为怕出问题就放弃共享上下文本身的好处。

写在后面

读完这篇论文,最触动我的其实不是"顺序会影响打分"这个发现本身,这件事大家多少都有点直觉。真正让我重新想了一遍的,是论文反复强调的那个落差:排序质量指标和实际决策之间,存在一道看不见的裂缝。

我们习惯用一个干净的数字,比如准确率、nDCG,去判断一个模型好不好、稳不稳。这篇论文提醒我的是,这类汇总指标天然会把细节磨平。两个模型的nDCG@10差了0.01,看起来几乎没差,但如果你去看它们在真实业务场景里筛出来的文档集合,重叠率能差出0.18,这个差距足够让同一批文档,一次被判定为"证据充分",一次被判定为"信息不足"。

论文里有个细节我觉得特别值得单独说一下。研究者发现,GPT-5.4这个闭源的旗舰模型,在排序质量指标上超过了所有他们自己训练出来的模型,但它给出的决策,比如重复打分同一份输入,重现率反而不如他们训练的OC-SFT模型。这说明单纯比拼一个排行榜上的分数,是会漏掉很多东西的,一个"更强"的模型未必是一个"更可靠"的模型,这两件事值得分开去衡量,而不是默认谁分数高谁就什么都好。

这个思路让我联想到软件测试里的一个老问题:一个程序的单元测试全部通过,不代表这个程序在真实环境下运行结果稳定。测试覆盖的是你想到要测的那些场景,但真实世界的输入组合,远比测试用例丰富。这篇论文做的事情,本质上是在排序模型这个领域,给大家指出了一个"你以为测过了,但其实没测到"的盲区,顺序扰动就是那个没被常规指标覆盖到的盲区。

论文也坦诚地留了一个没解决的问题,顺序一致性微调对候选文档顺序的扰动有效,但对候选文档的"标签"本身的扰动,比如换一种给候选项编号的方式,这个方法基本不起作用。换句话说,模型学会了"不管谁排第几都稳",但没学会"不管你叫它A还是叫它1号都稳"。这两种扰动看起来很相似,但模型内部处理它们的机制可能完全不同,这件事本身就值得继续追问下去。

下次你看到一个AI系统给出的排序结果或者打分,如果恰好可以试一下,把输入顺序打乱重新跑一遍,看看结果变不变。这个小实验,可能比看任何一个汇总指标都更能告诉你,这个系统到底有多可靠。

Q&A

Q1：大语言模型做文档重排序时为什么会出现顺序依赖问题？

A：因为批量逐项打分时多篇候选文档共享同一个提示词,模型给某篇文档的打分不仅取决于该文档本身,还取决于它在提示词里的位置以及陪同它一起出现的其他候选文档,实验发现陪同的候选文档贡献了超过八成的分数波动,远超位置本身的影响。

Q2：OC-SFT方法和简单的推理时多次打分取平均相比有什么优势？

A：OC-SFT只需要训练一次,推理时只打一次分就能达到比打十次分取平均还更稳定的效果,因为它直接修正了模型权重里固有的顺序敏感性根源,而取平均只是在事后抵消随机波动,两者还可以叠加使用进一步提升效果。

Q3：排序质量指标相同就说明两个打分模型表现一样好吗？

A：不一定。论文发现五个训练出的打分模型在nDCG@10上相差不到0.01,但同一批候选文档打乱顺序后,门槛筛选出的文档集合重叠率只有0.66到0.84,说明排序质量指标相同不代表下游实际决策一致,比较模型时还需要专门测量决策稳定性。