
你有没有想过,同一个人做同一张选择题,如果把选项A和选项C调换一下位置,答案会不会变?
正常人不会变。但大语言模型会。
这个现象早就被研究者注意到了。2024年有篇论文专门揭示过这个问题:只是重新排列选项顺序,不改变正确答案是哪个,模型的选择就可能发生变化,严重到足以颠覆排行榜上的模型排名。这事儿听起来有点离谱,一个号称能理解语义的模型,居然会因为"B选项"换到了"D选项"的位置就改变主意,这说明它可能根本不是在理解题目内容,而是在某种程度上被选项的位置本身影响了判断。
这篇来自韩国浦项科技大学(POSTECH)的论文,想解决的不是"选项顺序会不会影响答案"这个已知事实,而是一个更细的问题:当我们用一个数字去衡量这种偏差有多严重时,这个数字到底在衡量什么?
**核心问题:一个分数,两种可能的病因**
研究者们在评估模型是否存在"选项偏见"时,通常会用一个叫做**pooled SD**
*pooled SD(池化选择率标准差)*:统计模型在所有题目上选择每个选项字母(A、B、C、D)的比例,看这个比例在不同字母之间差异有多大,差异越大说明偏见越明显。
的指标。这个数字越大,说明模型越偏爱某些字母。
但这里有个被长期忽略的问题:两种完全不同的模型行为,可以得出一模一样的pooled SD数值。
想象两个病人去医院体检,体检报告上写着"血压异常指数:8.5"。但造成这个异常指数的原因可能完全不同:一个人是因为血压经常剧烈波动(一会儿正常一会儿飙高),另一个人是因为血压持续偏高且几乎不变。如果医生只看那个汇总指数,完全分不清这两种情况,开出的药方可能是错的。如果不区分病因,治疗方案可能对一种病人有效,对另一种完全无效,甚至有害。
论文里给出的例子同样生动。假设有两个模型,Model X和Model Y,它们在同一组题目上测出一样的pooled SD。但Model X的行为是:答案经常随着选项顺序变化(也就是频繁"翻车"),但翻车后落点比较均匀分散;Model Y则是:答案很少随顺序变化,但一旦变化就死死地扎堆落在某个特定字母上。两种完全不同的行为模式,被同一个数字抹平了。
这就是整篇论文想解决的核心矛盾:**一个汇总分数,混合了两种本应分开看的东西**。
**拆解问题:翻转率和落点偏斜**
研究者们提出了一个精巧的数学拆解。他们设计了一种叫做**循环排序**
*循环排序(cyclic ordering)*:把选项按固定规则轮换位置,比如ABCD变成DABC再变成CDAB再变成BCDA,这样每个选项内容都在每个位置上恰好出现一次。
的实验设计,让每道题目的每个选项内容都在每个位置(A、B、C、D)上恰好出现一次。这个"恰好出现一次"的平衡性,是整个数学证明能成立的关键前提。
在这种平衡设计下,题目被分成两类。一类是"稳定题",模型无论选项怎么轮换,始终选择同一个内容,这意味着它的四次回答正好会落在ABCD这四个位置上各一次,分布天然均匀。另一类是"翻转题",模型的选择会随着轮换而改变,这类题目的回答才会在某些字母上堆积,造成分布不均。
于是研究者证明了一个精确的等式:
**池化标准差 = 翻转率 × 落点偏斜**
这里的**翻转率(flip rate)**是指所有题目里有多少比例在不同选项顺序下给出了不同答案,这个指标完全不需要知道正确答案是什么,纯粹看模型自己的输出是否一致。
**落点偏斜(positional skew)**则是指,在那些"翻转题"里,答案最终落在哪些字母上有多不均匀,也不需要标准答案,只看模型自己选择的字母分布。
这个发现的意义在于,它把一个混沌的汇总指标,精确拆成了两个干净、独立、且都不需要标准答案就能算出来的因子。这就像把前面那个模糊的"血压异常指数"拆解成"血压波动频率"和"波动幅度方向",医生现在能看清楚问题到底出在哪儿了。
论文用两个真实测试过的模型案例印证了这个拆解的实际价值:Qwen2.5-72B-Instruct在PIQA测试集上,和Llama-3.2-3B在LogiQA测试集上,这两组几乎达到了一样的pooled SD数值,但背后的翻转率和落点偏斜组合完全相反。如果只看那一个汇总数字,你会以为这两个模型的"选项偏见病"程度差不多,但实际上它们的病因和病情完全不是一回事。
**两个因子分别代表什么**
研究者在41个开源模型checkpoint和12个基准测试集上做了大规模验证,发现这两个因子分别捕捉着完全不同的模型特性。
翻转率和准确率、以及模型输出的不确定性紧密相关。数据显示,翻转率和准确率的相关系数达到-0.947,意味着模型越准确,它翻转答案的频率就越低。而且这不仅仅是因为"准确率高本身就限制了能犯错翻转的空间"(论文里称之为"翻转上限"约束),研究者专门做了排除这种数学必然性的对照实验,发现即便控制了这个上限效应,翻转率依然和准确率密切相关。更有意思的是,研究者还发现,在同一道题目内部,如果模型给出的头两个最高概率选项的概率差距很小(也就是模型自己也拿不太准),这道题就更容易成为"翻转题"。这个发现的中位AUC达到0.85,说明"模型自己心里没底"这件事,是预测它会不会翻车的一个相当靠谱的信号。
落点偏斜则和模型对特定选项字母的固有偏好紧密相关,论文称之为**选项符号先验**
*选项符号先验(option-symbol prior)*:模型天生就偏爱某些选项字母(比如总是更倾向于选A),而不管这个字母底下装的是什么具体内容。
研究者用一种叫**PriDe**的方法估计出每个模型对各个字母的固有偏好程度,然后发现这个偏好程度越不均匀,落点偏斜就越大。更直接的证据是,把这个估计出来的偏好值从模型输出里"除掉",落点偏斜会显著下降,但如果故意把这个偏好值的字母顺序打乱再去除,反而会让落点偏斜升高。这个对照实验设计得很巧妙,相当于证明了"确实是这个具体的偏好方向在起作用,不是随便除个数字就能达到同样效果"。
这里有个值得多说两句的类比。如果你去问一个总爱回答"选C"的人为什么,他未必是真的分析了题目内容才选C,可能只是他从小做选择题的习惯就是优先考虑C。这种"字母本身的吸引力"和"题目内容对不对"是两件事。如果一个评测体系从不区分这两者,那么一个模型哪怕因为瞎猜字母蒙对了不少题,也可能被误判为"理解能力强"。而区分出落点偏斜这个因子,正是在把"蒙字母的习惯"从"真实理解能力"里剥离出来。
**两种常见的缓解方法,改的是两件不同的事**
既然已经知道了问题出在哪两个因子上,接下来自然要问:现有的那些"修复偏见"的方法,到底修的是翻转率,还是落点偏斜?
论文选取了两种代表性的缓解手段做对比。
第一种叫**先验校正**(prior correction),代表方法是PriDe,做法是先估算出模型对每个字母的固有偏好程度,然后把这个偏好从每次预测的概率里除掉。
第二种叫**反转聚合**(aggregation via reversal product),代表方法来自Wei等人2024年的工作,做法是把同一道题目用正向顺序问一次,再用完全反转的顺序问一次,把两次得到的每个选项内容的概率相乘,取乘积最大的那个作为最终答案。
实验结果非常清晰:先验校正主要降低的是落点偏斜,几乎不影响翻转率;反转聚合主要降低的是翻转率,顺带也降低一部分落点偏斜。
这个差异背后的数学原理也很优雅。先验校正是"逐题独立操作"的,它在每一次单独的提问里扣掉固定的偏好值,但它没有机制去强制同一道题在不同顺序下给出同样的答案,所以翻转率基本不动。而反转聚合,因为它把一个顺序和它的"镜像反转"顺序配对起来相乘,相当于把字母偏好拆成了"对称部分"和"反对称部分"。举个具体例子,如果模型天生偏好"越靠前的字母越喜欢"(比如ABCD递减式的偏好),这种偏好在反转后会正好抵消,因为反转后原来排第一的字母跑到最后去了。但如果模型的偏好是"越靠外的字母比中间的字母更受偏好"(比如A和D同样受偏爱,B和C同样不受待见),这种"镜像对称"的偏好就不会被抵消,会原样保留。
这就像一个翻跟头的体操动作,如果你的失误是"身体总往左歪",正着翻一次、倒着翻一次,两次的左偏右偏正好互相抵消,平均下来看不出歪。但如果你的失误是"开始和结束时身体都往外张",这个毛病不管正着翻还是倒着翻都一样存在,平均不掉。反转聚合能纠正的是前一种"方向性"偏好,纠正不了后一种"对称性"偏好。如果不用这种"反转再相乘"的设计,只是简单地把多个顺序的答案做个多数投票,那是没法区分题目翻不翻转的,因为投票本身就强行给出一个固定答案,根本看不出模型内心是不是在打架。
研究者还专门做了个"注入已知偏好再观察清除效果"的实验,人为往模型的输出里加一个方向明确的偏好信号,结果完全验证了上面的推理:前后对称式的偏好和交替式的偏好,被反转聚合完全清除;而内外对称式的偏好,则会原样穿透,幅度几乎不变。PriDe在这个人工测试里则几乎能清除所有被测试的偏好形状。
**降低偏差,不代表答案变得更对**
这是整篇论文里最值得警惕的一个发现。
反转聚合确实大幅降低了翻转率,代价是什么?研究者发现,大量原本会翻转的题目,之所以变得"稳定"了,是因为它们稳定地选择了同一个错误答案。统计显示,"稳定但错误"的题目比例上升的幅度,比准确率提升的幅度还要大。而且在那些新变成"稳定错误"的题目里,十分之九的情况下,模型落定的这个错误选项,其实本来就是模型在各种顺序下回答最频繁的那个选项,聚合方法只是把这个"模型本来就更爱选的错误答案"给坐实了而已。
这个发现的意义在于提醒我们,"模型变得更稳定一致"和"模型变得更正确可靠"根本是两回事。好比一个每次都给出同样答案的温度计,听起来很"稳定",但如果这个固定答案本身就是错的,稳定性反而成了一种更隐蔽的问题,因为它看起来像是改善了,实际上只是把混乱的错误,打磨成了整齐划一的错误。
研究者进一步做了"模型排名反转"的统计,发现虽然先验校正和反转聚合在缩小"正确答案放在不同字母位置时准确率差距"(论文称为placement range)方面效果相近,但反转聚合留下的"模型排名反转"情况明显更少。换句话说,如果你拿这两种方法处理过的分数去给一堆模型排名,反转聚合给出的排名更稳,但背后是用"把错误答案焊死"换来的稳定。
把先验校正和反转聚合组合起来使用(先做校正,再做聚合),效果是两个因子都降下来了,落点偏斜降得比单用聚合更多,placement range缩小得最明显。但组合方法里排名反转的数量,还是停留在反转聚合单用时的水平,说明"焊死错误答案"这个副作用,并没有因为加了先验校正就消失。
**从41个模型身上还看到了什么**
论文的实验规模相当扎实,覆盖了Llama、Qwen2.5、Qwen3、Gemma-2、DeepSeek-R1蒸馏版、Mistral、Phi-3这七个模型家族共41个checkpoint,涵盖从0.5B到72B参数规模,在PIQA、WinoGrande、ARC、HellaSwag、MMLU、MMLU-Pro等12个基准测试集上系统测量。
一个容易被忽视但很重要的发现是:如果拿一个基座模型和它经过指令微调后的版本做对比,大约六分之一的情况下,池化标准差和翻转率这两个指标的变化方向居然是相反的,一个在降,另一个在升。这说明光盯着那个汇总的pooled SD数字去判断"微调是不是改善了选项偏见",是靠不住的,因为翻转率下降带来的改善,完全可能被落点偏斜上升的恶化给盖过去,最终汇总数字反而显得更差。
研究者还在三个闭源商业模型上做了测试,发现一个有趣的复杂情况:这些模型对同一个问题、同一个选项顺序,重复问两次,答案本身就可能不一样。这意味着"换个顺序答案变了"这件事,混杂了"顺序确实有影响"和"模型本身回答就有随机性"两种原因,很难干净地拆开,所以研究者没有把这几个闭源模型的两个因子直接拿来和开源模型的结果放在一起比较。
**写在后面**
读完这篇论文,我最先联想到的其实是统计学里一个很古老的教训:方差分解。几十年前统计学家处理实验数据时就发现,一个总体的变异,往往是好几种不同来源的变异叠加出来的,如果不把它们拆开,很容易把A因素的影响错当成B因素的影响。这篇论文做的事情本质上是同一个套路,只是搬到了大语言模型选择题评测这个具体场景里。方法论本身不新鲜,但把它用在"选项偏见"这个具体又实际的痛点上,确实解决了一个长期被模糊处理的问题。
还有一个细节让我印象很深:那个"稳定但答案是错的"现象。这事儿有点像有些人考试蒙题的策略,发现蒙C的概率比较高,就一路蒙到底,表面上看起来"做题很有章法、很稳",但骨子里和瞎猜没有本质区别。模型的这种行为被反转聚合这种缓解手段放大保留了下来,这提醒我们在做模型评测优化的时候,千万别把"看起来稳定"直接等同于"变得更好",这两者之间需要额外的检验才能画等号。
论文最后也没把话说死,它在限制部分坦白承认,这套分析能告诉你偏差表现在哪两个地方,但没法告诉你模型内部到底是什么机制产生了这种偏差,也没法保证降低某个因子就一定意味着模型变得更可靠。这是个诚实的边界,知道病灶在哪儿,和知道怎么根治,终究是两件事。
如果你是做模型评测或者选型的人,下次看到一份报告说"我们用XX方法降低了选择偏见指标",或许可以多问一句:降的是翻转率,还是落点偏斜?答案稳定下来之后,它稳定地对,还是稳定地错?
Q&A
Q1:选择题选项顺序打乱后模型答案变了,这个现象叫什么?
A:这个现象被称为选项偏见,具体包括选择偏差(偏好特定选项字母)和顺序敏感性(答案随选项排列变化)两个方面,论文中用池化选择率标准差这个指标来衡量这种偏差的严重程度。
Q2:为什么同一个池化标准差数值可能代表完全不同的模型问题?
A:因为这个数值可以拆解为翻转率和落点偏斜两个独立因子的乘积,翻转率反映答案随顺序变化的频率,落点偏斜反映变化后答案堆积的均匀程度,两种完全不同的组合可以算出一样的汇总数值,容易误导判断。
Q3:先验校正和反转聚合这两种缓解方法效果一样吗?
A:不一样,先验校正主要降低落点偏斜几乎不影响翻转率,反转聚合主要降低翻转率,但它降低翻转率的方式很多是让题目稳定选中同一个错误答案,所以准确率提升幅度不如表面数字那么乐观。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。