同一份答卷，换一把尺子打分，分数能差多少

你有没有想过，一场考试的分数,不光取决于你答得好不好，还取决于判卷老师手里拿的那份标准答案到底对不对？

这听起来像个废话。标准答案当然是对的,不然怎么叫标准答案。

但如果我告诉你，有一份标准答案,其实有将近五分之一是错的，而且错误不是随机分布的，是系统性地偏向某一类考生,你还会这么笃定吗？

这正是三位来自Centific公司的研究者在一篇论文里揭开的事情。他们没有去改进任何AI模型，也没有提出什么新算法，他们做的事情更朴素，也更扎心：拿着同一份AI生成的答案，换了一把评分的尺子，看看分数会跳多少。

结果是，分数能跳将近5分（满分100分的F1分数），两个候选系统的排名能直接反转。而造成这一切的，只是数据处理流程里一个没人写进文档、也没人检查过的默认设置。

**一道题，两个人答，一个仲裁，一个旁观**

要理解这件事，得先弄明白这个研究用的是什么数据。

这是一个六种语言（印地语、葡萄牙语、波兰语、瑞典语、中文、阿拉伯语）的个人信息识别基准测试，任务是从近两万五千条客服文本里，把姓名、电话、地址这些敏感信息的位置标注出来。

PII：个人身份信息（Personally Identifiable Information），比如姓名、电话号码、身份证号这类能定位到具体个人的数据。

这类标注任务通常的流程是这样的：先找两个标注员独立标注同一批文本，如果两人意见一致就通过，如果不一致,就交给第三个人做裁决，最后把裁决结果作为“金标准”（也就是正确答案）发布出去,所有AI系统的表现都要拿去跟这个金标准比对打分。

听起来很严谨对吧？两个人标注，一个人裁决，三重保险。

但研究者翻看这个项目保留下来的完整标注记录时发现,事情没那么干净。裁决这道工序，并没有真的对所有分歧都生效。

**被悄悄省略的裁决步骤**

研究者发现，当两个标注员（论文里称为标注员A和标注员B）意见不一致，而裁决流程又没有被触发的时候，系统默认采用标注员A的结果，比例高达98.7%。

这种情况在整个数据集里占了10.6%,在阿拉伯语数据里甚至占到16.5%。

也就是说，每十条意见不合的标注里，就有超过一条，系统压根没找第三个人来裁决，而是悄悄选了A的答案当作标准答案。

这就好比你们班两个课代表统计作业分数,遇到分歧时，老师本该抽查核实，但系统默默设定了一条规则：谁先交的统计表,就按谁的算，而且全班没人知道这条规则存在。如果没有这条默认规则,会怎样？所有分歧都得真的去核实，答案会更接近真相,但效率会低很多,系统设计者显然图省事选择了前者,代价却转嫁给了后面所有用这份答案打分的人。

研究者还发现一个细节：在真正触发裁决的那部分分歧里，标注员A和标注员B被采纳的比例几乎是一半一半（42.3%对38.5%），说明裁决本身是公正的。问题全部出在“裁决没有触发”的那个灰色地带,默认规则偏袒了A,而且是系统性地、在六种语言里无一例外地偏袒。

**同一张答卷，换一把尺子**

发现了这个默认规则的问题后,研究者设计了一个很巧妙的实验。

他们手里还留着另一份独立的“专家复核金标准”,也就是找真正的专家，完全独立地重新标注了一部分数据（覆盖了10.5%的样本），不参考之前任何人的标注结果。

这就给了研究者一个难得的机会：同一批标注员的答案，现在有两份不同的参考答案可以拿去对比打分,一份是官方发布的“默认规则金标准”，一份是“专家复核金标准”。

研究设计的核心逻辑很简单：被打分的答案一个字都不动,只换参考答案,看分数怎么变。

结果是，标注员A的分数，用默认金标准打分是91.62分，换成专家复核金标准打分是86.67分，整整掉了4.95分（置信区间3.23到6.27）。标注员B的分数只掉了2.00分（置信区间0.26到3.37）。

这意味着什么？标注员A看起来表现更好,很大程度上是因为默认金标准本来就更像A写的答案，这不是A真的更准，这是裁判吹哨子的方式偏向了A。

置信区间：统计学里表示结果不确定范围的一种方式，比如说“4.95分，置信区间3.23到6.27”，意思是如果反复做这个实验，真实的差值有95%的概率落在3.23到6.27分之间。

最刺痛人的,是印地语数据的表现：用默认金标准打分，标注员A领先标注员B 3.97分；换成专家复核金标准打分,A反而落后1.30分。领先变落后,名次直接翻了个个。

这就好比两个运动员比赛,用裁判A的计时表,甲赢了；换一块同样精度认证过的计时表，乙反而赢了。你说到底谁更快？答案是,在误差范围内，这场比赛根本分不出真正的胜负，分数的差异比运动员真实水平的差异还大。

**94.9%这个数字说明了什么**

研究者进一步核实了94.9%这个关键数字：在他们详细审核的样本里，官方发布的金标准有94.9%是跟两个标注员中某一个的答案完全一字不差的。

这说明什么？这说明所谓的“金标准”，根本不是一份独立、综合、权威的正确答案，它绝大多数情况下只是复制粘贴了其中一个标注员的原始答案。

这就带来一个致命的逻辑漏洞：如果你拿标注员A的答案去跟这份金标准打分,你某种程度上是在拿A的答案跟A自己打分,这不是评测,这是自己给自己判卷。

研究者管这个现象叫“评分污染”,并专门做了一个“去污染”实验：只保留金标准跟两个标注员答案都不一致的那135条样本重新计算,结果发现标注员A的优势几乎消失了，从原来的领先2.83分变成了领先-0.09分（统计上等于零）。

这个发现进一步坐实了之前的怀疑：A看起来更强，很大程度上是因为裁判拿着A的卷子在批卷。

F1分数：一种衡量预测结果准确度的指标，同时考虑了“找得全不全”和“找得准不准”两个方面，数值越高表示整体表现越好。

但研究者也很诚实地承认,这135条样本太少了,每种语言只有13到30条,置信区间宽到没法下定论,所以这部分结论只能作为侧面佐证，不能算决定性证据。

**跨系统比较，比单一分数波动更致命**

如果只是某一个系统的分数上下浮动几分，问题还不算太大。真正麻烦的是,当你要拿两个系统放在一起比较谁更强的时候,换一把尺子,结果可能彻底翻盘。

研究者专门计算了一个叫“交互效应”的量,意思是：标注员A和标注员B之间的领先幅度，在换用参考答案前后，变化了多少。

汇总六种语言的数据,这个交互效应是正2.95分（置信区间1.97到3.87），而且做了多重检验校正之后依然显著，说明这不是偶然的统计噪声,是真实存在的系统性偏差。

多重检验校正：当你同时做很多次统计检验的时候,偶然出现“看起来显著”结果的概率会升高,所以需要用数学方法把这个虚高的显著性打个折扣，论文里用的是Holm校正法。

换句话说，这不是某一次测量的运气不好，是整个评分体系结构性地偏向了某一方。如果一个基准测试的排行榜,是拿这样一份带偏见的金标准去打分的,那排行榜上的名次,很可能反映的不是系统真实水平的差距，而是评分尺子本身的倾向性。

**瑞典语是个意外的对照组**

有意思的是,瑞典语数据反而是个“风平浪静”的例外。换参考答案后，标注员A的分数只变化了0.78分，置信区间横跨负7.42到正6.58，统计上等于没变化。

研究者解释说，这是因为瑞典语的专家复核金标准本身也恰好偏向A（偏5.3分），两份参考答案“同病相怜”，所以换哪份都差不多。

这个发现其实挺重要的,它说明分数波动的幅度，完全取决于两份参考答案之间偏向是否一致。如果两把尺子都歪向同一边,你量出来的结果自然看不出差异,但这不代表尺子本身是准的,只是你凑巧没撞上问题。

这就像两块手表都快了十分钟，你拿这两块表互相对时间,看起来分毫不差，但实际上两块表都是错的，只是错得一样。

**根源：一个两行代码就能测出来的默认设置**

论文最有价值的发现，其实不是“分数差了多少”这个具体数字，而是指出了问题的根源极其简单，简单到让人有点难以接受。

研究者说，这整个问题的成因，是数据处理流程里一个“按位置排序决定取舍”的默认规则,在意见分歧又没有真正裁决时，系统默认选取排在前面的那份标注。这种做法完全没有写进任何对外公开的说明文档,是真正的隐藏设置。

而验证这个规则是否存在偏见，只需要统计一下：最终发布的金标准,到底有多大比例跟标注员A一致,又有多大比例跟标注员B一致。如果两个比例差不多,说明规则公平；如果某一方明显占优,说明这把尺子本身就歪了。

研究者统计发现,默认金标准在六种语言里,无一例外都更偏向标注员A，偏差从2.7分到12.9分不等；而专家复核金标准则没有任何一致的偏向。

**标注分歧,大多数时候吵的是“边界”，不是“对错”**

论文里还有一个容易被忽略但很值得琢磨的发现：两个标注员真正吵的,到底是什么？

数据显示，一旦两个标注员选中了同样的文字片段,他们对这段文字属于什么类型（姓名还是电话还是地址）的判断,一致率高达95.6%到97.6%。

这说明一件很关键的事：标注员们对“什么是敏感信息”这件事,基本没有分歧,真正的分歧出在“这段敏感信息从哪个字开始、到哪个字结束”。

比如一段文字里写着“安娜·伯格医生打来电话”,一个标注员认为“安娜·伯格”才是姓名实体,另一个标注员认为“安娜·伯格医生”这个带职称的整体才算完整的姓名实体。两人都没说错,只是划线的位置不同。

精确匹配评分：一种严格的打分规则，要求预测的文字起止位置和类型必须跟标准答案一字不差才算对,哪怕多一个字、少一个字都算错。

这就带来一个更深的问题：当评分规则要求“精确匹配”时，这种边界习惯上的细微差异,会被放大成实打实的分数差距,而这种差距，跟系统到底聪不聪明,其实关系不大，更多反映的是标注规范本身就没讲清楚“边界该划在哪儿”。

研究者为此专门设计了两套打分规则对照着看：一套要求位置和类型都对（严格匹配），一套只要求位置对、不管类型对不对（宽松匹配）。两套规则的差距,就是“类型判断”这个因素单独造成的影响,这样才能把“边界分歧”和“类型分歧”这两件事拆开来看，不至于混为一谈。

**除了这个大问题，还有两个隐藏的评分漏洞**

论文附录里还提到两个容易被忽视的细节,虽然不是核心论点，但很说明问题。

第一个是“类型合并”操作。发布数据之前,有人把25种细分的身份信息类型合并成了17种，比如把“身份证号”“税号”“银行账号”这几种本来容易混淆的类型,统一合并成了一个“税务号码”大类。

研究者指出，这个合并操作并没有真正解决标注员容易混淆这几类信息的问题，它只是把问题藏起来了。合并之后,两个本来可能标错类型的答案,因为都归到了同一个大类里,看起来“一致”了，但这种一致，只是数字游戏,不是真的达成了共识。

这就像两个学生,一个把三角形的角算错了，一个把梯形的角算错了,但卷子批改的时候把“三角形”和“梯形”合并成“多边形”一个大类,于是两人都“答对了”。问题被合并掉了，不是被解决了。

第二个漏洞更技术化：原始评测系统用“精确字符串查找”的方式来定位预测结果，导致“部分重叠”这种匹配情况几乎不可能被触发,研究者检查了24组结果数据,发现“部分匹配”和“精确匹配”这两个本该不同的指标，数值完全一样，一模一样，说明这个指标其实从来没有真正生效过。

这两个细节合在一起说明一件事：评分指标是写在代码里的,代码很少跟着论文或报告一起公开，一个指标完全失效,却不会在最终呈现的结果表格里留下任何痕迹,你必须去读代码才能发现。

**研究者给出的建议：把这份"参考答案的可信度"也摆上台面**

基于以上发现，研究者提出了几条实际建议,核心思路是：既然参考答案本身会影响分数,那就应该把这种影响也当作一个可以测量、可以报告的指标，跟最终分数一起公布。

他们建议保留并公开完整的标注记录，而不只是发布最终汇总的那份金标准,这样后人才有机会像这篇论文一样,去检验金标准到底可不可信。

他们建议发布一个“参考答案敏感度区间”,具体做法是：换一份同样合理的参考答案，看分数和排名变化多少，把这个变化幅度也标注在最终得分旁边,让读者知道，报告的这个分数,有多少是真实能力的体现，有多少只是裁判尺子带来的波动。

他们建议主动检验聚合规则是否公平,方法很简单：统计一下最终的参考答案，跟每个标注者重合的比例是不是接近，一旦出现系统性偏差，这就不是无伤大雅的技术细节，而是实打实的评测偏见。

他们建议报告不同语言之间标注员的一致程度，毕竟这份研究发现六种语言之间的标注一致性相差高达16个百分点，这个差距本身，就足以影响跨语言比较的可信度。

**这些结论能不能直接套用到所有AI评测上**

论文的作者很克制，反复强调了这项研究的局限。

他们测量的,是人工标注员的两份答案互相打分,不是AI模型生成的答案,所以具体的数字（比如4.95分这个差距）不能直接套用到别的评测场景里。

他们也承认，审核过的样本只有2628条,对某些单一语言的细分结论来说样本量偏小,置信区间比较宽,不足以下绝对结论。

他们还提到一个很诚实的担忧：两个标注员用的是同一套标注规范、同一个供应商、同一套培训流程，他们俩的答案之间的相关性，可能比两个完全独立研发的AI系统之间的相关性要高得多。也就是说，这篇论文测出来的“参考答案敏感度”,放到两个风格迥异的AI系统身上，效果可能更明显,也可能更小，这是一个有待验证的问题。

但有一点是跨场景通用的：这套检测方法本身不需要任何新的标注工作，只需要把本该保留却常常被丢弃的原始标注记录利用起来,换个参考答案重新打一次分,就能测出一个评测体系到底有多"抖动"。

**写在后面**

读完这篇论文,最让我意外的不是那个4.95分的差距,而是那个98.7%。

一个没有写进任何文档的默认规则，静悄悄地运行了很久，决定了成千上万条数据的最终标准答案，直到有人翻出完整的历史记录，才发现这件事。这让我想起很多软件系统里那些“临时写的代码”,写的时候图省事，没想过会变成长期生效的规则，没人去复查,直到某天被人拿着放大镜盯上。

论文里有一个细节我反复想了很久：裁决真正发生的时候,两个标注员被采纳的比例几乎是五五开（42.3%对38.5%），说明裁决这个环节本身没有问题。偏差全部出在“裁决没发生”的灰色地带。

这其实是个挺普遍的现象，系统的公正性往往不是毁在它明确做出判断的那一刻，而是毁在它选择不做判断、用一个沉默的默认值去填补空白的那一刻。

那份专家复核金标准覆盖率只有10.5%，剩下的89.5%的数据,从来没有被真正核实过是不是带着这个偏见。这意味着什么？意味着这篇论文测出来的问题,可能只是冰山露出水面的那一小块。

Q&A

Q1：这篇论文发现的参考答案偏差具体是怎么产生的？

A：当两个标注员意见不一致、又没有触发真正的裁决流程时，系统默认采用标注员A的结果，比例高达98.7%，这个规则没有写进任何文档，是隐藏在数据处理流程里的默认设置。

Q2：换一份参考答案，分数能差多少？

A：标注员A的分数在两份参考答案下相差4.95分，标注员B相差2.00分，最大的单一语言差距出现在印地语，达到7.55分，两个系统的排名甚至出现了反转。

Q3：这个发现对普通的AI评测基准有什么启示？

A：说明评测分数不只反映系统能力，也反映参考答案本身的构建方式，研究者建议评测时公开完整标注记录并计算参考答案敏感度，而不是只发布一个最终分数。