当AI提取发票信息时，那个"我很确定"的分数其实在撒谎

你有没有想过这样一个场景：一个AI系统从你的报销发票上读出了金额、日期、商家名称，然后系统告诉你"这次提取我有95%的把握是对的"。你选择相信它，跳过了人工复核。

结果呢？金额读错了。

这不是危言耸听。有一篇最新的研究扎扎实实地做了个实验：让Claude这样的顶级大模型去读800张收据，结果发现，模型自己声称"有把握"的那些字段里，错误率远远超过了它承诺的水平。更麻烦的是，市面上流行的那套"设置一个置信度阈值，超过阈值就自动通过"的做法，在真实文档上是会悄悄失效的，而且失效的方式非常隐蔽，如果不做专门的统计检验，你根本发现不了。

这篇论文的作者用13859个从收据里提取出的真实字段做了一场解剖手术，把这套"自动通过"机制到底在哪里坏掉、坏到什么程度、该怎么修，讲得明明白白。

先说清楚，我们到底想要什么

这篇论文讨论的核心问题，其实是一个很朴素的承诺：AI系统对外说"我接受这个字段，不用人看了"，那么在所有被它这样"接受"的字段里，出错的比例应该被真正控制在某个数字以下，比如10%。

这个承诺有个专门的名字。

**选择性风险**：指的是系统主动"接受"（不用人工复核）的那部分结果里，实际发生错误的比例。

这跟整体准确率不是一回事。整体准确率可能只有49%（论文里的收据数据集就是这么惨），但如果系统够聪明，知道挑简单的字段自动通过、把难的都推给人工复核，那么"被自动通过"的那部分依然可以保持很低的错误率。这才是真正实用的系统该有的样子：不是让AI全知全能，而是让AI知道自己什么时候不知道。

问题是，怎么让AI"知道自己什么时候不知道"，还要保证这个"知道"是真的可信、经得起统计检验的，而不是自我感觉良好。

传统做法很直接：给每个提取结果打一个置信度分数，拿一批标注好对错的数据做"校准"，找到一个分数阈值，只要高于这个阈值的历史数据里错误率低于目标值，就把这个阈值定下来，以后凡是打分超过阈值的都自动通过。这套方法在统计学上有个专门支撑它的理论框架。

**选择性分类的add-one规则**：一种经典方法，通过在校准数据上找到最小的、能让"平滑后的错误率"低于目标值的置信度阈值，来决定哪些结果可以自动通过，理论上保证的是平均意义下的错误率控制。

听起来很严谨对不对？论文的核心发现是：这套方法在实验室的干净数据上没问题，一旦拿到真实文档上，会因为三个隐藏的坑而集体失效，而且失效得悄无声息，不报错、不崩溃，只是承诺的10%风险，实际变成了12.7%甚至更高。

坑一：文档里的字段不是互相独立的

想象你在整理一沓收据的时候，突然发现一件事：同一张收据上的字段们，要么一起对，要么一起错。这不奇怪，如果这张收据的印刷质量很差、字迹模糊，那么上面所有的字段（商家名、金额、日期）都会因为同一个原因变得难读；反过来如果这张收据印得很清楚，所有字段大概率都会读对。

这意味着什么？意味着"字段"根本不是统计学意义上独立的样本点，真正独立的单位是"文档"。

论文测出来这个效应有多大：**在CORD收据数据集上，这种文档内部的相关性造成的"设计效应"高达1.84到2.45倍**。

**设计效应**：统计学术语，衡量的是由于样本之间存在相关性（不独立），导致有效样本量比表面上的样本数量要小多少倍的一个系数。

设计效应2.15意味着什么？意味着你以为自己收集了800份文档的校准数据，实际上从统计意义上讲，这份数据能提供的信息量，大概只相当于370份真正独立的文档。你的置信区间应该比看起来的宽得多，但如果你按"字段是独立的"这个错误假设去算统计量，你会误以为自己掌握的证据比实际多了一倍。

这就好比一个班主任想了解全班50个学生的家庭作业完成情况，于是随机抽查了10个学生的作业本，每本抽查5道题，凑够了50个数据点。但如果这10个学生里有几个是关系很好的同桌，平时互相抄作业，那么"50个数据点"里其实藏着大量的重复信息，同桌两人的作业对错模式几乎一样。如果不假思索地把这50个数据点当成50个独立观测去算全班的作业正确率置信区间，得出的结论会显得比实际更"确定"，一旦真的按这个过于自信的结论去做决策（比如断定某道题全班都会了），出错的概率就会比预想的高得多。

论文用一个"干净对照"实验把这个问题从别的干扰因素里剥离出来验证：只处理文档聚集这一个问题，其他都保持理想状态，结果风险依然会超标，跑了40次数据切分实验，有50%的切分下最终风险超过了设定的10%上限。这说明文档聚集不是个可以忽略的边角问题，而是实打实地会让你的风险承诺食言。

坑二：用同一批数据既训练模型又给它打分，等于自己给自己判卷子

这是三个坑里最容易被忽视、后果却最严重的一个。

现代的置信度打分系统往往不是简单的规则，而是一个训练出来的模型，比如论文里用到的一个"深度3的梯度提升树"。

**梯度提升树**：一种机器学习模型，通过组合许多个简单的决策规则（决策树），逐步修正前面规则的错误，来拟合更复杂的模式，常用于结构化数据的预测任务。

问题出在哪？如果你用同一批"校准数据"，既拿去训练这个打分模型，又拿去在这批数据上找阈值，那么这个模型会不可避免地对训练它的这批数据"记忆过度"，表现得比它实际能力更好。等你拿着这个虚高的阈值去处理全新的数据时，真实表现就会大幅缩水。

这在机器学习里有个通俗的名字，叫"数据泄露"，论文里管这个具体表现形式叫"分数重新拟合泄露"。

论文测出来的数字触目惊心：用这种"自己判自己"的方式，系统显示的接受覆盖率高达41.6%，看起来风险只有12.7%，貌似很理想。但这是个假象，**在40次独立的数据重新切分实验里，有95%的情况下，实际风险会突破设定的10%上限**。也就是说，这个"漂亮"的结果几乎是撞大运撞出来的，根本不可靠。

修复的办法说穿了很简单，但需要严格执行：把用来做校准的那部分数据，再切成两半，一半专门用来训练打分模型（叫"拟合半"），另一半专门用来在训练好的模型基础上找阈值（叫"验证半"），两者绝对不能混用。这个协议改完之后，同样的学习型打分模型，风险从失控的12.7%（95%场景违规）变成了受控的9.2%。

这个坑的教训可以类比成一个更容易理解的场景：如果一个学生自己出考卷、自己判自己的卷子、然后拿着"我考了98分"的成绩单去申请奖学金，你会信吗？当然不会，因为出题人和考生是同一个人，分数没有任何独立验证的意义。想要成绩可信，出题和判卷必须交给一个跟考生本人没有利益关系的人来做。机器学习里的"训练集和验证集要严格分开"，讲的是同一个道理，只是包装成了统计学的语言。而这篇论文的贡献之一，就是把这个原本在机器学习圈子里众所周知的原则，第一次量化地钉在了"文档提取置信度校准"这个具体场景里，告诉你如果不这么做，代价精确是多少。

坑三：当置信度分数变得"扁平"，阈值这把尺子会直接失灵

这是三个坑里最出人意料、也是最像侦探故事的一个。

研究者们在第一批实验数据里，遇到了一个诡异的现象：明明数据量翻倍了（从原来的一部分收据扩展到全部800张），理论上应该有更多信息去支撑更精确的判断，结果算出来的"认证覆盖率"反而大幅缩水，缩水到原来的四分之一。

这不合常理。数据变多，结果应该更好，或者至少不会更差。

顺着这条线索排查下去，他们发现了元凶：在一次工具链升级中，一个叫"蕴含判断"的信号模块因为底层库版本冲突，悄悄地在整个数据采集过程中失效了，输出全部变成了0，而且没有报错。

**蕴含判断信号（entailment）**：一种检测提取出的值是否真的能从对应的原文片段里推导出来的信号，类似于判断"这个答案能不能从这段话里找到依据"，是论文中五个置信度信号里唯一一个连续型（而非离散、粗粒度）的信号。

失去了这个唯一的连续信号之后，剩下的都是些粗糙的离散信号（比如"是否找到了来源位置"这种是非题），导致最终融合出来的置信度分数变得极度扁平化：原本能有1702种不同取值的分数，塌缩成了只有257种取值，而且有大量分数完全相同的字段堆积在了"接受"的门槛附近，形成了两个各自超过180个字段的"分数团块"。

这就带来一个致命问题：**阈值只能整团接受或整团拒绝一批分数完全相同的字段，没法在同一个分数值内部再细分。**

如果最靠近阈值的那一团里混杂着太多错误的字段，导致"整团接受"后的错误率必然超标，那么系统就找不到任何一个能满足风险要求的阈值，哪怕把置信度要求设得极高也一样，因为问题不在阈值高低，而在于可选的阈值"档位"太粗，根本没有一个档位能精确卡在安全线上。研究者们用反事实实验验证了这个因果链：故意把那个正常工作的蕴含判断信号在完好数据集上人为清零，果然复现了同样的崩溃，认证覆盖率从3%暴跌到0.1%。

这个坑给出的教训，可以用一个生活里的比喻讲清楚：假设你在给一批考生按分数分层，本来满分是100分，可以分成100个档位精细排序，突然有一天阅卷系统坏了，只能给出"及格"和"不及格"两个档位。这时候，即使你严格按及格线来筛人，被划到"及格"这个大团块里的考生，其真实水平可能天差地别，从59分擦边到100分满分的都混在一起。你没法在这个团块内部再挑出更靠谱的那一部分，因为阅卷系统压根没提供这个精度。分数的粒度，直接决定了你筛选决策能做到多精细，这跟阈值本身设得高不高是两码事。

论文从这个意外事故里提炼出了两条通用的工程教训：一是把候选阈值都对齐到实际出现过的不同分数值上，这个操作跟标签无关，不会带来任何统计上的代价，却能避免阈值卡在一堆相同分数中间进退两难；二是很多常见的诊断方法（比如按分数排序后看"前1%错误率"）在有大量并列分数的情况下会静默地挑到对自己有利的样本，营造虚假的乐观假象，论文测出这种"排序错觉"下的错误率是4.6%，而真正能通过阈值机制实现的错误率是7.1%，差了将近三个百分点。

修复方案：把严谨程度分成几个明确的等级

诊断完问题，论文接下来做的事情很有工程师精神：不是简单地说"用更好的方法"，而是把不同严谨程度的修复方案，分成一个清晰的阶梯，每一级都明确写清楚它到底承诺了什么、依赖什么假设、假设不成立时会付出什么代价。

**验证阶梯**：论文提出的一套报告标准，把风险控制方法按严谨程度从低到高分成若干层级，每个层级明确标注它所保证的统计量、所依赖的前提假设，以及假设违反时的具体后果，方便使用者按需选择。

阶梯的第一级叫"实用层"，就是前面说的拟合/验证数据严格分离协议加上经典的add-one阈值方法。这一层能做到的承诺是"平均意义上"的风险控制，也就是说，如果你反复在很多批新数据上跑这套系统，长期平均下来风险会落在目标值附近，但对于某一次具体的部署，实际风险完全可能超标。论文用了个很诚实的数字说明这一点：在这一层级下，虽然平均风险控制在9.6%（低于10%的目标），但在40次独立测试中，有**47.5%的情况下，单次实际风险是超过10%的**。

这个"平均达标但单次可能超标"的性质，其实特别像天气预报里的"降水概率30%"。气象台说未来的降水概率是30%，这是基于历史大量类似天气条件下统计出来的平均规律，它没法告诉你明天具体这一天到底下不下雨。如果你把"平均降水概率30%"直接理解成"每一次预报都精确对应30%的确定性"，那你出门决策的时候就可能被打个措手不及。实用层的风险控制，本质上就是这种"长期平均靠谱、单次不保证"的承诺，如果你的业务场景需要的是"每一次部署都必须达标"这种更强的保证，实用层是不够用的。

那更强的保证从哪来？论文引入了第三级和第四级，用的是一套叫"Learn-then-Test"（学习后测试）配合精确二项分布检验的框架，能给出真正的"以某个高置信概率保证风险不超标"这种统计学意义上更硬核的承诺。

**PAC证书**：Probably Approximately Correct的缩写，意思是"以某个预先设定的高置信概率（比如90%），保证误差不超过某个范围"，这是统计学习理论里一种常见的、比"平均达标"更强的保证形式。

**Mondrian条件化**：一种分组统计技术，思路是不再用同一套阈值处理所有数据，而是先把数据按某个特征（比如文档来源的可信度等级）分成不同的组，每一组单独找一套阈值、单独出具统计保证，这样可以针对不同组的特点做更精细的风险控制。

在第三级里，论文的处理单位依然是"字段"，但补充了一个"考虑文档聚集效应"的修正版本，把前面提到的设计效应问题也纳入计算，得到一个更保守但更可信的数字：覆盖率14.0%，风险5.1%，40次实验里零次违规。到了第四级，处理单位干脆换成了"文档"本身，这才是真正跟数据生成过程的假设完全匹配的层级，覆盖率进一步降到6.0%，但代价也很明显，因为收据数据集只有800份文档，样本量对这种更严格的统计要求来说太小了，导致有47.5%的测试场景下这一层级根本给不出任何有效的认证结果。

论文对这个现实毫不掩饰：**第四层是唯一一个假设完全站得住脚的层级，但目前的效果几乎"聊胜于无"。**

这句坦诚的评价，其实透露出一个更普遍的道理：统计严谨性和实用覆盖率之间存在着一种此消彼长的关系，你想要的保证越硬核，能覆盖的比例往往就越低，尤其是在数据量还不够大的情况下。论文没有回避这个矛盾，而是把这个"严谨性的代价"量化了出来，专门做了一张表格：在10%的风险预算下，真正严格认证能保留的覆盖率，只有那个（虽然不可信但看起来漂亮的）朴素方法覆盖率的28%；但如果把风险预算放宽到20%，这个保留比例就能提升到84%。这说明严谨性不是非黑即白的开关，而是一个可以按业务需求调节的旋钮，风险预算稍微宽松一点，严谨认证的实用性就能大幅提升。

一个意外的胜负手：文档里的"证据来源"信息该放在哪

论文接下来讲的这部分内容，是我觉得整篇研究里最有意思、也最反直觉的地方。

研究团队设计了一个叫"支持度分箱"的分组方式，思路是先看每个提取出来的字段有没有在原文档里找到确切的证据来源（比如这个金额数字，是不是真的能在收据的某个具体位置对上号），然后根据这个"证据支持强度"把所有字段分成几组，分别单独制定阈值。

**支持度分箱（support-bin）**：一种基于"溯源证据强度"的分组方法，把每个提取字段按照其在原文档中找到确切来源证据的把握程度，分成几个档位（比如强、中、弱），然后针对每个档位单独校准风险控制阈值，而不是所有字段共用一套阈值。

这个分组方式在论文的主战场，也就是用Claude Sonnet模型处理收据数据的实验里，表现非常亮眼：**在每一个严谨程度层级上都是表现最好的分组方式**，统计显著性达到p<0.0001这种极小的水平，而且经过了针对多重比较问题的严格校正（Bonferroni校正），排除了"矮子里拔将军"式的运气成分。

但故事到这里出现了一个转折，也是整篇论文最诚实、最值得尊敬的地方：这个"支持度分箱"的胜利，换一个模型就不灵了。

研究团队用同样的收据数据、同样的分组方案，换成另外两个信号质量更弱的模型（Claude Haiku和开源的Qwen模型）重新跑了一遍，结果发现所有基于严格统计认证的层级全部塌缩到几乎不可用的水平（覆盖率降到0.5%以下），而且在这些较弱的模型上，真正表现最好的分组方式，变成了按"字段类型"来分组，而不是按"证据支持强度"来分组。

这个反转告诉了我们什么？论文在第七章里给出了一个更深层的理论解释，我把它叫做"两个王国的法则"：**如果你手头有一个训练得足够强、足够聪明的打分模型，那么这个模型本身已经在内部把"字段类型"这类信息学会并消化掉了，这时候你再额外做分组处理，不但没帮助，反而会因为把数据切得更碎、每组样本更少，让统计认证变得更难**，论文测出这种"画蛇添足"式的分组，会让覆盖率白白损失6到7个百分点。但反过来，**如果你手头的打分模型比较弱、或者干脆是个不能重新训练的黑盒模型，这个模型自己没能力捕捉到某个有用的特征，这时候把这个特征拿出来单独做分组，就能显著提升效果，因为分组弥补的正是模型本身的信息盲区**。

这个道理放到生活里其实特别好懂。想象一个招聘团队想要更精准地筛选简历。如果面试官本身已经是个经验极其丰富的老手，能够综合看出一份简历里学历、项目经验、面试表现等各种因素的复杂交织关系，这时候你非要额外规定"先按学历分组、组内单独定标准"，反而可能帮倒忙，因为老练的面试官早就在自己脑子里把学历这个因素权衡进去了，你的强制分组只是把每组能参考的案例数量硬生生砍少了，让每组的判断都变得更没底气。但如果换成一个刚入职、经验不足的新人面试官，他可能真的对某个维度（比如面试者是不是海外背景）不敏感、判断不准，这时候按这个维度单独分组、给新人一套针对性的参考标准，就能实实在在地提升筛选质量，因为这弥补的正是新人经验里的具体缺口。

模型的能力和分组策略之间的匹配关系，跟面试官的经验和筛选流程设计之间的匹配关系，是同一个逻辑。这也是为什么论文反复强调，"支持度分箱赢了"这个结论是"模型特定"的，而不是"数据集通用"的，同样的收据、同样的分组方案，换个信号质量不同的模型，胜负关系可以完全反转。

论文甚至给出了这个直觉的数学证明，构造了一个理想化的场景（假设分组和错误之间没有被打分模型完全吸收的关联），严格推导出"分组一定能提升覆盖率"和"如果打分模型已经充分吸收了分组信息，分组反而会因为样本切分损耗而变得更差"这两个方向的定理，并且拿三个不同的数据集去验证这个理论预测的正确性，三个数据集的实际结果全部和理论预测的方向吻合。

数据说话：这套方法到底靠不靠谱

讲了这么多方法论，最终还是要看数字。论文里最核心的一张对比表格，把四个严谨程度层级在同一批13859个收据字段上跑出来的结果放在一起：

| 层级 | 覆盖率 | 实际风险 | 违规比例 |

|---|---|---|---|

| 实用层（学习型打分） | 0.318 | 0.096 | 47.5% |

| 共享低容量融合模型 | 0.212 | 0.095 | 35% |

| 严格字段级PAC认证 | 0.171 | 0.068 | 3% |

| 严格文档级PAC认证 | **0.060（保守但最可信）** | 0.020 | 0% |

看这张表你会发现一个很明显的规律：越往下走，覆盖率越低，但可信度越高，违规比例越小。这不是哪个方法更"好"，而是不同的产品需求对应不同的选择，如果你的业务能承受更多字段被推给人工复核，去换取"这个统计保证真的靠得住"，那就应该往表格下方走。

除了这张核心表，论文还做了一件很值得称道的事：找了三个完全独立的人类标注员，蒙眼重新判断了149个被系统"自动通过"的字段，结果人工验证出来的真实错误率只有1.3%，远低于10%的预算线，而且三个标注员之间的一致性（用Fleiss' kappa衡量）达到了0.83，属于相当可靠的水平。更有意思的是，这个人工审核还揭示了一个额外的好消息：用来做自动校准的标签本身，存在"一边倒偏悲观"的问题，有21%被自动标记为"错误"的案例，人工复核后发现其实是对的，而反过来"自动标记为对但实际是错"的情况一个都没有。这意味着论文报告出来的这些风险数字，其实还留有相当的安全冗余，实际表现可能比数字上看起来更好。

写在后面

读完这篇论文，让我印象最深的不是那些具体的百分比数字，而是它对"支持度分箱在Sonnet上赢、在Haiku和Qwen上输"这个结果的处理方式。很多研究者遇到一个漂亮的实验结果，会倾向于把它包装成一个普适规律推销出去，但这篇论文反而把这个"不成立"的反例，主动摆到了正文里，还专门用了一整节去建立理论去解释为什么会这样。这种诚实，比结果本身更值得记住。

还有一个细节值得单独说一说：那个"蕴含判断信号意外全部清零导致阈值网格崩溃"的事故。作者没有把这次事故偷偷改正就当没发生过，而是把整个排查过程、根因、复现实验全都写进了论文的附录，甚至给出了具体的工程修复建议。这种把"研究过程中踩过的坑"当成正式研究成果的一部分公开出来的做法，其实比很多只报喜不报忧的论文更有参考价值，因为真实的工程实践里，这种"某个上游依赖悄悄坏掉但没报错"的场景太常见了。

论文里那个"48%的场景下实际风险会超过承诺值"的实用层结果，也让我重新想了一下"平均达标"这四个字在实际产品决策里到底意味着什么。如果你的系统对外承诺的是"平均风险不超过10%"，但你的用户理解成的是"每一次都不超过10%"，这中间的落差，可能才是真正需要警惕的地方，比任何具体的技术漏洞都更容易被忽视。

Q&A

Q1：选择性风险控制和普通的准确率有什么区别？

A：普通准确率看的是整体表现，而选择性风险控制只看系统主动"接受"（不需要人工复核）的那部分结果里的错误率。哪怕整体准确率只有49%，只要系统能准确识别出哪些是简单可靠的字段并只对这部分下结论，被接受部分的错误率依然可以控制在很低水平，这才是让人工复核系统真正好用的关键。

Q2：文档聚集效应为什么会让风险控制失效？

A：因为同一份文档里的字段错误往往是相关的，比如一张印刷模糊的收据上所有字段都容易出错。这导致"字段数量"看起来很多，但真正独立的信息量（有效样本量）会被严重高估，论文测出这个高估的倍数达到1.84到2.45倍，如果按错误的独立假设去计算，实际风险就会超出承诺值。

Q3：为什么"支持度分箱"这个分组方法在不同模型上表现不一样？

A：因为这套分组方法本质上是在弥补打分模型自身没能捕捉到的信息。如果打分模型足够强（比如Claude Sonnet），它已经把这些信息吸收进自己的判断里了，额外分组反而因为切碎数据而帮倒忙；如果打分模型较弱（比如Haiku或Qwen），它没能力捕捉这类信息，这时候单独分组就能显著提升效果。