大模型读表格也会"看走眼"？南加州大学与AWS联合研究揭示AI阅读表格的致命盲点

这项由南加州大学与AWS AI Labs联合开展的研究，于2026年6月30日以预印本形式发布，论文编号为arXiv:2606.32029，有兴趣深入了解的读者可以通过该编号查询完整论文。

**当AI也会"看错行"**

你有没有遇到过这样的情况：看一张密密麻麻的时刻表，找着找着，眼睛就溜到了隔壁那一行，结果记错了发车时间？这种"看错行"的小失误，人类每天都在犯，但我们一直以为，机器应该不会有这个问题——毕竟计算机处理表格数据向来是它的老本行。

然而，这支研究团队用一项系统性实验告诉我们，事情并没有那么简单。即便是当下最先进的大型语言模型（也就是那些能对话、能写作、能分析的AI系统），在面对表格时，它们也会犯跟人类一样的错误：看错列、遗漏行、甚至凭空捏造一个根本不存在的数字。研究团队将这类错误命名为"数据引用错误"（Data Referencing Errors，简称DRE）——本文将始终用这个词来指代这种"AI看走眼"的现象。

这项研究的特别之处，在于它是目前为止第一次对这类错误进行全面、系统的测量和分析，覆盖了从15亿参数到200亿参数的多个主流AI模型，以及问答、事实核查、表格转文字等多种实际应用场景。更重要的是，研究团队不仅发现了问题，还提出了切实可行的解决方案，并且验证了这些方案能够明显提升AI回答的准确率。

**一、AI读表格时究竟出了什么问题**

要理解"数据引用错误"是什么，可以用一个图书馆的例子来类比。假设图书馆有一排排书架，每个书架对应一个出版年份，每一格对应一种类型的书。当你问馆员"2019年出版的科幻小说有几本"，一个称职的馆员会准确走到2019年那排架子，找到科幻那一格，数清楚告诉你。但如果馆员走错了排，走到了2020年的架子，或者数完之后漏掉了最后一格，那答案就彻底错了——即便他的数数能力完全没有问题。

AI读表格时犯的，正是这种"走错架子"或"漏数一格"的错误，而不是"不会数数"的错误。研究团队将这类错误细分为两种形态。第一种叫"错误引用"：AI把某个格子里的值说成了另一个格子的，比如把"组织"列的内容说成了"奖项"列的答案，或者把2020年的数据当成2019年的数据报了出来。第二种叫"遗漏信息"：当题目要求AI列举所有符合条件的行时，它漏掉了其中一行——就像你问"10月份有几个节日"，AI列出了两个，但其实表里有三个。

论文开头给出了两个非常直观的真实案例。第一个案例里，有一张三列的表格，分别记录了"年份"、"组织"和"奖项"，AI被问到"2008年之后列出的下一个奖项是什么"。正确答案应该是2010年那行的"最佳女配角"，但AI却把"体育报业大奖（秋季）"（这是组织名称）当成了奖项名填了进去。第二个案例里，AI被问"十月份一共有几个节日"，表格里有三行十月份的条目，AI正确识别了其中两行，但偏偏遗漏了中间那行"10月23日"的条目，最终答案少算了一个。

这两种错误模式，看起来简单，却直接影响了最终答案的可信度。更让人担忧的是，这些错误发生在AI已经理解了表格结构的前提下——它知道表格有行有列，也能读懂每个单元格的大概含义，但就是在精准定位和引用的关键一步上出了差错，就像一个人完全看懂了地图，却在实际走路时拐错了弯。

**二、错误有多普遍？几乎无处不在**

为了搞清楚这类错误到底有多严重，研究团队设计了一套自动评估体系。他们请来了另一个更强大的AI系统（Anthropic公司的Claude Sonnet 3.7）来充当"裁判"，负责检查被测AI的回答有没有出现数据引用错误。为了让裁判判得更准，研究团队还把标准答案也一并提供给了裁判，帮助它在被测AI答错时更仔细地核查"错在哪儿"。经过人工抽样验证，这位AI裁判的判断准确率达到了92.67%，接近人类标注水平。

有了这套评估工具，研究团队对多个维度展开了测试，结果触目惊心。

首先看模型规模。在同一个Qwen3家族里，1.7亿参数的小模型数据引用错误率高达35.52%，4B（40亿参数）的模型降到了16.18%，8B（80亿参数）的降到了14.04%。这说明模型越大，读表格确实越准，但即便是最大的那个，每7个回答里还是有1个会犯错。而跨越不同家族比较时，规律就不那么稳定了。比如Llama4-Scout这个号称能力强大的混合专家架构模型，错误率居然高达46.48%，接近每两个回答就有一个出错。Distill-Llama-8B的错误率更是高达37.96%。相比之下，gpt-oss-20b表现最好，错误率只有5.71%。

然后看任务类型。研究团队测试了三大类任务：表格问答（包括WTQ、TableBench、FinQA三个数据集）、事实核查（SciTab）和表格转文字（ToTTo）。在金融数据问答任务FinQA上，Qwen3-8B的错误率飙升到了33.57%，远高于通用问答数据集WTQ上的14.04%。这并不难理解：金融表格往往密密麻麻，数字相似，列名复杂，对精准定位的要求极高，就像在一张全是价格的价目表里找一个特定商品的折后价，稍不注意就对错了列。

再看表格格式。研究团队分别用JSON格式、CSV格式和Markdown格式呈现同样的表格内容，测试Qwen3-8B的表现。结果发现，CSV格式下错误率最高（17.54%），Markdown格式居中（14.34%），JSON格式最低（14.04%），但三者差距并不大。这说明数据引用错误不是某种特定格式"坑"了AI，而是一个普遍存在的能力缺陷。

还有一个很重要但容易被忽视的发现：即便AI最终答对了，过程中也可能犯过数据引用错误。研究团队用"正确回答中的DRE比例"来衡量这种情况，结果显示，在SciTab事实核查任务中，高达65.57%的含有数据引用错误的回答，最终答案居然是对的。原因是，这类题目的答案只有"对"或"错"两种，即便AI在推理过程中引用了一个错误的数字，只要不影响最终判断，答案就还是正确的。这意味着，光看最终答案对不对，并不能真实反映AI推理过程的质量——就像一道数学题，你蒙对了答案，但解题过程全是错的，一旦题目稍微变一变，你就露馅了。

**三、为什么"让AI更小心点"不管用**

面对数据引用错误如此普遍的问题，最直觉的解法是：告诉AI"你要更仔细地看表格，不要引用错误的数据"。研究团队确实尝试了这个办法，但结果令人沮丧。

他们给Qwen3-8B加了一段额外的提示语，大意是"只使用表格中的信息，不要遗漏、不要错引、不要捏造，确保所有引用的值与表格完全一致"。加了这段话之后，错误率从14.04%降到了12.50%，准确率几乎没有提升（从77.14%到77.51%）。提示语起到了一点点作用，但远远没有解决问题。

同样失效的还有"推理模型的自我反思"机制。当下很多先进AI模型在给出答案之前，会先进行一段内部"思考"，反复检查自己的推理过程。Qwen3-8B、Distill系列、gpt-oss-20b都具备这种能力。但研究发现，即便经过了长时间的自我检查，这些模型的数据引用错误率依然相当高，分别达到了14.04%、46.04%和5.71%。更糟糕的是，一旦第一次出错，模型往往会"将错就错"——后续的推理步骤会把那个错误的数字当作事实来继续推导，而不是回头核查原始表格。这就像一个人抄错了一个数字之后，所有后续计算都建立在这个错误数字上，越算越偏。

还有一种方法是专门针对表格任务做强化训练，比如Table-R1-Zero-7B模型就是从通用模型出发，专门在表格相关数据集上进行了强化学习训练，最终答题准确率达到了76.10%，比原始的Qwen2.5-7B-Instruct（43.32%）高出许多。然而，它的数据引用错误率不降反升，高达19.29%，比Qwen3-8B的14.04%还高。这说明，答题准确率的提升，并不一定代表数据引用能力的提升——两者是相对独立的能力维度，需要分开对待。

这三条路都走不通，研究团队开始思考一个更根本的问题：既然AI的数据引用错误难以从内部消除，能不能从外部加一道"质检关卡"？

**四、给AI装上一个专职挑错的"质检员"**

研究团队提出的核心解法，是引入一个专门负责检查数据引用错误的"批评模型"（Critic）。这个质检员的职责非常单纯：不管AI的推理逻辑对不对，也不管最终答案是否正确，它只负责一件事——核查AI在回答中引用的每一个表格数值，是否和原始表格完全吻合，有没有遗漏。

有了这个质检员之后，研究团队探索了两种使用方式。

第一种方式叫"筛选"。具体做法是：对于每一道题，让AI生成8个不同的回答，然后让质检员逐一检查，把其中含有数据引用错误的回答筛掉，留下那些引用最准确的回答，再对这些高质量回答进行"多数投票"（即选最多人认同的答案）。这种方式的直觉是：哪怕AI有时候会犯引用错误，只要多采样几次，总会有几次是引用准确的，从中选出好的就行。

结果相当亮眼。以Qwen3-8B在WTQ数据集上的表现为例，8个回答里随机挑一个，平均准确率是64.59%；经过质检员筛选之后，准确率提升到了70.44%；再对筛选后的回答做多数投票，准确率进一步提升到73.49%，比没有质检员时的多数投票（70.84%）还高了近3个百分点。对于Llama4-Scout这个本来错误率极高的模型，效果更为显著：在WTQ上，随机选一个回答的准确率是57.02%，经过筛选加多数投票之后飙升到73.11%，提升超过16个百分点。

第二种方式叫"拒绝采样"。这个方式更聪明一些，不是等AI把整个答案写完再筛，而是在AI生成过程中进行干预。研究团队发现，那些具备"思考"能力的AI，往往会在推理过程中遇到某些关键节点（比如碰到"等等，让我再想想"这样的反思词）时停顿一下。他们就利用这些停顿点，把AI到目前为止写出来的那段话交给质检员审查。如果质检员发现这段话里有数据引用错误，就让AI重新生成这段话，直到质检员满意或者达到最多8次重试上限。这样，错误在还没有扩散到后续推理步骤之前，就被及时纠正了。

这种方式的改进效果同样明显。在Distill-Qwen-7B这个模型上，原本在TableBench任务上的准确率只有53.58%（仅考虑那些至少有一次回答含有数据引用错误的题目），经过拒绝采样之后提升到68.85%，提升幅度高达15.27个百分点。在全量数据集上，准确率也从54.77%提升到66.73%，提升约12个百分点。Llama4-Scout在WTQ上的准确率，则从56.16%提升到65.39%，提升超过9个百分点。

这些结果传递了一个重要信号：数据引用错误在很大程度上是"可以避免的失误"，而不是模型能力的根本天花板。就像一个粗心的同学，只要给他配一个检查作业的同伴，很多低级错误都能在提交前被发现和纠正，最终成绩自然就提高了。

**五、训练一个小巧实用的专职质检员**

然而，上述实验里的"质检员"是Sonnet 3.7——一个能力极强但价格不菲的商业AI，而且需要提前知道正确答案才能更准确地判断。在实际应用中，这两个条件往往都不具备：既没有预算每次都调用顶级商业模型，也不知道正确答案是什么（否则还问AI干嘛）。

于是，研究团队尝试训练一个体量更小、成本更低的专职质检员。他们选择了Qwen3-4B-Instruct（一个40亿参数的开源模型）作为基础，设计了一套两阶段训练方案。

第一阶段是"模仿学习"。研究团队让Qwen3-8B在WTQ训练集上生成了大量回答，然后请Sonnet 3.7给每段回答标注"有没有数据引用错误"，用这些标注数据来教Qwen3-4B如何判断。这个阶段的目的是让小模型先学会基本的输出格式，同时从大模型那里吸收一些判断技巧，就像新员工先跟着有经验的前辈学规矩。

第二阶段是"强化训练"。在模仿学习的基础上，研究团队进一步用强化学习（具体是一种叫做RLVR的方法，即"基于验证奖励的强化学习"）来提升小模型的鲁棒性。这种训练方式不限制模型的推理过程，只要最终给出的判断（"有错误"或"没错误"）是正确的，就给予奖励。这样，模型可以自由发展出自己的判断策略，不被固定的思维框架束缚。

经过这两阶段训练的模型被命名为Critic-4B，其对照组是直接用没有经过专门训练的Qwen3-4B-Instruct来当质检员，以及另一个用合成数据训练的版本Critic-4B-Synthetic。

测试结果显示，Critic-4B的综合F1分数（一种同时衡量查准率和查全率的指标，满分100）达到了78.16%，而未经训练的Qwen3-4B-Instruct只有69.51%，提升了近9个百分点。更重要的是，Critic-4B展现出了良好的泛化能力：它只在Qwen3-8B的回答上、只在WTQ这个数据集上训练过，但当被用来检查Distill-Qwen-7B的回答，或者TableBench、FinQA这些完全不同的数据集时，F1分数依然表现稳健。这说明它学到的不是某个特定模型或数据集的"答题规律"，而是真正意义上的"数据引用错误识别能力"。

相比之下，用合成数据训练的Critic-4B-Synthetic表现就差一些。它在训练数据类似的场景里表现还不错，但一碰到金融问答（FinQA）或者非推理模型（Llama4-Scout），F1分数就明显下降。这说明合成数据构造出来的错误模式，和真实AI犯的错之间还有不小的差距，不能完全替代真实数据。

把Critic-4B接入拒绝采样流程之后，测试效果也相当可观。虽然比不上用Sonnet 3.7做质检员时的提升幅度，但作为一个体量更小、完全开源、无需知道正确答案的轻量级替代品，它依然能在多个模型和数据集组合上带来稳定的准确率提升，同时将数据引用错误率明显压低。以Distill-Qwen-7B在WTQ上为例，加入Critic-4B的拒绝采样后，准确率从49.47%提升到54.01%，错误率则从46.04%大幅下降到30.59%，降幅超过15个百分点。

**六、这项研究还留下了哪些问题**

研究团队在论文末尾坦诚地指出了几个尚未解决的问题，这些局限本身也值得关注。

第一个局限是研究范围。本文聚焦于表格任务，但数据引用错误显然不只发生在表格里。在数学题里，AI也会把"48个冰块，其中10个大号、14个小号、12个中号"的顺序记错，把小号和中号的数量搞混。在长篇文档摘要里，AI也可能引用一个实际上并不存在于原文的细节。这些更广泛场景下的数据引用错误，超出了本文的研究范围，但值得后续工作继续探索。

第二个局限是可解释性。研究团队在初步实验中观察到，当模型准备引用一个表格数值时，如果提高模型对整个表格的"注意力"，后续的引用错误会减少。这暗示数据引用错误可能与模型内部的注意力机制不够聚焦有关——就像一个人在做题时眼神游离，没有专注盯着那个格子，结果手一滑写错了。但由于资源限制，研究团队没能进一步深入分析和验证这个方向，留待后人。

---

归根结底，这项研究用严谨的数据告诉我们一件听起来有些反直觉的事：AI不是因为"不够聪明"才看错表格，而是因为在"仔细看"这件事上还不够可靠。解决办法也不是让AI变得更聪明，而是给它配一个专职的"校对员"，在输出之前多查一遍。这个思路质朴得像老师批卷前先用答题卡对答案，却在实验中带来了最高12个百分点的准确率提升。

对于普通用户来说，这项研究的现实意义在于：下次你用AI分析一张财务报表、一份成绩单或者一个统计数据表时，不要无条件相信它的每一个数字引用。如果条件允许，可以要求AI明确说出它引用了哪一行哪一列的哪个值，然后自己核对一遍——毕竟，哪怕是最聪明的裁判，偶尔也会看漏关键一球。如果你对这个课题感兴趣，可以通过arXiv编号2606.32029找到完整论文，研究团队的代码也已在GitHub上开源，地址中包含"table-referencing"字样，可以自行尝试。

---

Q&A

Q1：大模型读表格时出现的"数据引用错误"具体是指什么？

A：数据引用错误是指AI在回答表格相关问题时，引用了错误的单元格内容，比如把A列的值当成B列的值说出来，或者在需要列举所有符合条件的行时漏掉了其中某些行。这种错误不是AI不懂逻辑，而是在精准定位和读取数据这一步出了差错，就像人类看表格时"看错行"一样。

Q2：提醒AI"不要引用错误数据"为什么没有效果？

A：研究实验表明，即便在提示词中明确要求模型"只使用表格信息，不遗漏不错引不捏造"，Qwen3-8B的数据引用错误率仅从14.04%小幅降至12.50%，最终答题准确率几乎没有变化。同样，AI自带的自我反思机制也效果有限，一旦第一次引用出错，后续推理往往延续这个错误，无法自动纠正。

Q3：Critic-4B和直接用更大的AI模型做质检有什么区别？

A：Critic-4B是一个专门训练过的40亿参数小模型，不需要知道正确答案，可以独立运行，成本低且开源透明。相比之下，用Sonnet 3.7做质检员虽然效果更好，但它是商业黑箱、价格较高，且依赖提前提供标准答案。Critic-4B在实际部署中更具可行性，能在不知道答案的情况下依然有效检测数据引用错误。