当你换个方式"描述"同一张表格，AI检索系统竟然找不到它了——来自伦斯勒理工学院与亚利桑那州立大学的修复方案

这项由伦斯勒理工学院计算机科学系与亚利桑那州立大学计算机科学系联合开展的研究，于2026年4月27日以预印本形式发布在arXiv平台，编号为arXiv:2604.24040v1，研究方向归属于计算机科学的自然语言处理领域（cs.CL）。感兴趣的读者可以直接在arXiv平台通过上述编号查阅完整论文。

一、格式不同，AI就"认不出"同一张表格了？

先从一个让人头疼的现实场景说起。你有一个装满表格的数据库——里面可能是销售记录、人口统计数据、体育赛事成绩，总之是那种行列整齐的结构化数据。现在你想让AI帮你检索：给定一个问题，让系统自动从数千张表格中找到最相关的那一张。听起来很简单对吧？

然而问题来了：同一张表格，用CSV格式存储（用逗号分隔每个数值），或者用HTML格式存储（就是网页里那种带标签的表格），或者用Markdown格式存储（一种写文档常用的格式），AI系统给出的检索结果可能截然不同。明明表格里的数据一个字都没变，仅仅是"包装方式"换了，系统就可能找到它，也可能找不到。

这就好像一个图书管理员记住了你的脸，但当你换了件衣服再来，他竟然说从没见过你。这个比喻贯穿这项研究的核心：表格的"衣服"（序列化格式）和表格的"本人"（实际内容）应该是两回事，但现有的AI检索系统显然没能做到这一点。

这项研究的任务，正是揭示这个问题有多严重，并给出一套切实可行的解决方案。

二、让AI读懂表格：一道必须跨越的门槛

要理解为什么会出现这种"换件衣服就认不出"的问题，需要先了解AI系统读取信息的方式。

现代AI语言模型，无论是用于问答还是检索，都被设计成处理一维的文字序列——就像读一行一行的文字。而表格本质上是二维的：它有行，有列，有表头，有单元格，行与列之间存在特定的关联关系。把一个二维的表格"压平"成一维的文字序列，是让AI能读懂表格的必要步骤，这个过程叫做"序列化"（Serialization）。

序列化的方式有很多种。CSV格式会写成"姓名,年龄,城市"然后每行一条记录；HTML格式会用各种标签把表格结构标注出来；Markdown格式用竖线和横线画出表格；DDL格式则用数据库建表语句来描述表格结构；还有JSON、XML、TSV等等。这些格式所包含的底层信息完全一样，但"写法"天差地别。

研究团队发现，当他们把同一张表格用不同格式喂给AI检索系统时，系统在内部产生的"理解向量"（可以理解为系统对这张表格的抽象理解，是一串数字）差异非常大，大到足以影响检索结果。他们用一个形象的数学表达来描述这个现象：对于同一张表格T，每种序列化方式s都会产生一个向量zs(T)，而这些向量在高维空间中分布得相当分散，尽管它们本应代表同一个语义内容。

三、问题究竟有多严重？三个真实数据集上的测试结果

为了量化这个问题，研究团队在三个真实的表格问答数据集上进行了系统测试。

第一个是WikiTableQuestions（简称WTQ），包含来自维基百科的4200个问题和2044张表格，表格结构比较复杂，有多行表头和不规则格式。第二个是WikiSQL，包含15878个问题和5069张表格，这些表格相对简单整洁，问题的措辞也和表格内容比较接近。第三个是NQ-Tables，包含966个问题，但有多达169898张候选表格，问题的自然语言表述与表格内容之间的词汇差距最大，是三个数据集里最难的。

测试使用了四种不同的AI检索模型：MPNet（一种通用型文本检索模型）、BGE-M3（一种多语言多功能检索模型）、ReasonIR（专门为推理密集型搜索优化的模型）、以及SPLADE（一种稀疏词汇检索模型，工作方式与前三种有根本性的不同）。

序列化格式方面，研究团队测试了足足17种不同的表示方法，涵盖了从简单的CSV到复杂的XML，从数据定义语言DDL到打乱行列顺序的变体，以及强调表格结构元数据的mschema、macschema等格式。

结果触目惊心。以MPNet在WTQ数据集上的表现为例，最好格式（pipe或tsv）的Recall@1（即检索第一名就命中正确表格的比例）达到0.25，而最差格式（html）只有0.09，差距接近三倍。在NQ-Tables上，由于问题措辞和表格内容之间本来就存在较大的词汇鸿沟，格式带来的影响更加放大——MPNet在mschema格式上的成绩低至0.01，而在csv格式上可以达到0.28，相差近30倍。SPLADE模型在WikiSQL上的最好格式（tsv）得到0.52，最差格式（json）只有0.35。这些数字说明，序列化格式根本不是什么细枝末节的技术选择，而是直接决定检索系统能否正常工作的关键变量。

四、穿透格式的迷雾：用"平均值"找到表格的真正面貌

面对这个问题，研究团队提出了一个优雅的解决思路。核心想法是这样的：既然同一张表格的不同格式都带有相同的语义内容，那么把所有格式产生的向量取平均，就能消除各自带来的"格式噪声"，留下真正共同的语义信号。

用那个换衣服的比喻来说：你穿西装、穿运动服、穿大衣，每次照镜子的样子都不同，但如果把所有这些照片的像素取平均，那些只属于某件衣服的特征就会互相抵消，剩下的才是你这个人最本质的轮廓。

这个"平均向量"被称为"质心"（Centroid）。研究团队从数学上严格证明了质心的两个重要性质。其一，质心是所有序列化格式向量中，距离所有格式向量之和最小的那个点——也就是说，它在几何意义上是最"居中"的代表，与所有格式的距离之和最短。其二，如果每种格式引入的"偏差向量"在不同表格上方向各异、互相抵消，那么取平均后这些偏差就会趋近于零，质心就会接近表格真正的语义信号。

当然，这个第二个性质有一个前提条件：格式引入的偏差必须因表格内容的不同而有所不同，而不是对每张表格都产生完全相同的方向偏移。研究团队也诚实地指出了这个前提不一定总是成立的情况——比如mschema、macschema这类强调数据库结构元数据的格式，以及html、latex这类标签繁重的格式，会对几乎所有表格都产生类似方向的偏移，这种"格式专属偏移"就无法通过取平均来消除。

为了验证这一点，研究团队专门设计了一套分析方法，把每种格式的偏差向量分解成两部分：一部分是对所有表格都一样的"格式固定偏移"，另一部分是随表格内容变化的"表格相关偏差"。他们发现，对于MPNet模型，mschema和macschema的格式固定偏移远远大于表格相关偏差，两者的比值约为1.45到1.59，这意味着对这些格式取平均并不能有效消除偏差。而像shuffled_rows（打乱行顺序）和shuffled_cols（打乱列顺序）这样的格式，格式固定偏移明显小于表格相关偏差，取平均效果就很好。SPLADE模型更是一个极端案例——在它的表示空间中，每一种格式都有巨大的固定偏移，完全不满足取平均消除偏差的条件。

研究团队还设计了不同组合的质心：只取csv、tsv等常用数据格式的平均（CENTROID_DATA）、只取打乱行列顺序等结构变换格式的平均（CENTROID_STRUCTURAL）、只取流行的通用格式的平均（CENTROID_POPULAR）、只取mschema等模式定义格式的平均（CENTROID_SCHEMA），以及把所有17种格式全部取平均（CENTROID_ALL）。

五、质心真的更好用吗？大规模排名对比说话

为了直接验证质心是否真的比任何单一格式都更好用，研究团队进行了一次大规模的"格式擂台赛"。对于每一对格式，他们统计在所有问题上，哪个格式的检索排名更靠前，最终得出一个格式之间的强弱排序矩阵。

结果非常清晰：质心类表示一致占据排名矩阵的顶部，其中CENTROID_ALL综合表现最佳，其次是CENTROID_DATA和CENTROID_POPULAR等变体。质心类格式对markup标签繁重的格式（如html、json）以及打乱顺序的格式（如shuffled_rows）优势尤为明显。在单一非质心格式中，TSV表现最为稳定，但在综合排名上仍然落后于最好的质心构型。

他们还用了统计学中的Wilcoxon符号秩检验（一种专门用于比较两组数据谁更优的检验方法），并用Benjamini-Hochberg方法校正了多重比较的误差，结论是：质心对那些较弱的单一格式的优势具有统计显著性，不是偶然现象。

六、但质心太贵了——一个轻量级的"模拟质心"替代方案

质心的方法虽然好，但代价高昂：要对同一张表格编码17种不同格式，存储17个向量，检索时要么存储质心要么实时计算，这对大规模数据库来说完全不现实。设想一个数据库有十万张表格，每张表格要跑17次编码，相比原来开销增加了17倍。

于是研究团队的第二个贡献就来了：他们训练了一个轻量级的"适配器"（Adapter），让它学会把任意单一格式的向量"校正"到接近质心的位置，从而在不增加推理成本的前提下近似实现质心的效果。

这个适配器的结构很聪明。它接收一个格式特定的向量，先通过层归一化让数值稳定，然后用一个"瓶颈结构"——先把向量压缩到更低维度，经过激活函数处理，再恢复回原来维度——计算出一个"校正量"。这个校正量通过残差连接（直接加到原始向量上）的方式修改原始向量，并且有一个很小的缩放系数α（取值0.01），确保修改幅度很小，不会大幅改变原始表示。用一句话描述：这个适配器就像给原始向量做一个微小但方向精准的"推动"，让它更靠近质心所在的位置。

瓶颈结构的维度设置为512，远小于原始向量的维度，这保证了适配器的参数量很少。原始的检索模型（编码器）完全冻结，不参与训练，整个训练过程只更新适配器的参数。

七、训练目标：四个相互配合的约束

单纯让适配后的向量接近质心并不够——如果把所有向量都推到同一个点，检索系统就彻底失效了，因为所有表格都变得不可区分。研究团队从VICReg（一种自监督学习方法）借鉴了灵感，设计了四个相互制衡的训练目标。

核心目标是"不变性损失"（Invariance Loss）：对同一张表格的不同格式向量，适配后的结果应该彼此接近，都收敛到该表格的质心。这是让系统对格式不敏感的直接推动力。

但如果只有这一项约束，系统可能把所有表格的向量都推到同一个点。"方差损失"（Variance Loss）的作用就是防止这种崩塌：它要求适配后的向量在每个维度上都保持一定的分散程度，就像确保不同表格之间仍然保持距离。

与此同时，不同维度之间的相关性也不能太强，否则有效信息量就会减少。"协方差损失"（Covariance Loss）负责惩罚维度之间的冗余，鼓励每个维度携带独立的信息。

最后还有"身份损失"（Identity Loss）：它要求适配后的向量和原始向量之间的余弦相似度尽可能高，防止适配器把向量推离原始检索模型所建立的语义空间，因为查询（Question）端仍然用原始冻结的编码器，文档（Table）端向量跑太远了两者就没法配对了。

这四个损失函数各有权重：不变性损失和身份损失权重最高（都是100），方差损失权重居中（25），协方差损失权重最小（1）。训练曲线显示，不变性损失在训练初期快速下降，说明适配器很快就学会了把不同格式推向质心；与此同时，余弦相似度保持在较高水平，说明原始语义空间得到了保留；方差损失基本稳定，说明表示没有崩塌。

八、适配器效果如何？好消息和坏消息并存

适配器的实际效果体现在两个层面：降低对格式的敏感性，以及提升最差格式的检索表现。

先看降低敏感性。对所有模型来说，适配器都明显缩小了不同格式之间Recall@1的标准差和极差，说明格式选择的影响确实减弱了。以ReasonIR在WTQ上为例，基础模型各格式之间的标准差为0.040，使用联合训练的适配器后降到0.032，使用子集适配器后降到0.022。对于NQ-Tables，格式敏感性的降低更加显著，因为那里原本的格式差异就最大。

再看具体格式的提升。MPNet在WTQ数据集的html格式上，基础模型Recall@1只有0.09，使用联合适配器后上升到0.18，子集适配器也能达到0.17。在WikiSQL的html格式上，从0.11上升到0.17。ReasonIR在WTQ的shuffled_rows格式上，从0.22上升到0.26（联合）和0.29（子集）。BGE-M3在NQ-Tables的shuffled_rows格式上，从0.12上升到0.17（联合）。

但这些收益并不是免费的。对于已经表现很好的格式，适配器有时会带来轻微的下降。比如ReasonIR在WTQ的xml格式上，基础模型得到0.37，联合适配器和子集适配器各降了0.01。对于MPNet，在NQ-Tables的csv格式（原本是最好格式之一，得分0.28）上，联合适配器反而下降到0.22，子集适配器降到0.25。研究团队对此的解释是：适配器的不变性损失会把格式向量用力推向质心，当某个格式原本就离质心很近时，这种推力会造成过度校正。

SPLADE模型是一个系统性的失败案例。联合适配器让SPLADE在WTQ的tsv格式上从0.44下降到0.39，在NQ-Tables的csv格式上从0.33暴跌到0.16。研究团队认为，根本原因在于SPLADE的工作方式与前三种模型截然不同：SPLADE产生的是高维稀疏向量，大多数维度接近零，只有少数维度有显著数值，依靠这些少数维度来匹配词汇信号。而适配器的瓶颈MLP结构会在维度之间做混合和变换，不可避免地把稀疏向量稠密化，破坏了SPLADE赖以工作的稀疏结构。这就像你试图用处理连续信号的方法去修正一个摩尔斯电码——修着修着就把信号本身破坏了。

九、迁移到未见过的数据集——子集适配器的惊喜

研究团队还做了一个有实际意义的实验：用WTQ和WikiSQL的数据训练适配器，然后拿去NQ-Tables数据集上测试，检验适配器能否迁移到从未见过的数据集。

结果发现，迁移是可能的，但效果因模型而异。对于ReasonIR，子集适配器实际上在NQ-Tables上表现得比联合适配器更好：它成功把最差格式shuffled_cols从0.08提升到0.11，同时对最好格式ddl（0.31）几乎没有影响。对于BGE-M3，联合适配器在shuffled_rows上有提升，但xml格式有所下降；子集适配器则相对更保守。总体规律是：在产生负面影响的情况下，子集适配器的损害通常比联合适配器更小，因为在没有目标数据集样本的情况下，身份损失的约束相对更强，对已经表现良好的格式的干扰更小。

此外，研究团队还测试了一种"混合序列化"场景：同一张表格的不同行使用不同的序列化格式（比如第一行是CSV格式，第二行是JSON格式，第三行是HTML格式）。这是一种极端的格式污染情形，基础检索模型在这种情况下表现都明显变差。适配器在这个场景下表现出了良好的鲁棒性，在多数密集检索模型上都有所改善，说明它学到的是某种格式无关的一般性校正能力，而不仅仅是对训练时见过的特定格式组合的记忆。

具体数据方面：ReasonIR在混合格式WTQ上的Recall@1从基础模型的0.2774提升到0.3195（联合）和0.3181（子集），提升幅度约15%；在NQ-Tables上从0.1925提升到0.2422（联合，+25.8%）和0.2464（子集，+28.0%）。MPNet在WTQ上基本持平（-1.1%），在NQ-Tables上有所下降（-11.3%），SPLADE在NQ-Tables上略有提升（+0.5%联合，+12.3%子集）。这些结果进一步支持了"适配器提升鲁棒性而非普遍性能提升"的结论。

十、这项研究的意义和局限

说到底，这项研究做了三件事：第一，第一次系统性地测量并量化了表格序列化格式对AI检索系统的影响，用真实数据说明了这个问题不容忽视；第二，从理论和实验两个角度证明了质心平均这种方法可以提供更稳健的表格表示；第三，提出了一个实用的轻量级适配器，让系统在推理时只需要编码一种格式，就能近似实现质心的效果。

这项工作也坦诚地承认了自己的局限性。适配器的效果是有条件的，对密集检索模型（MPNet、BGE-M3、ReasonIR）普遍有效，对稀疏检索模型（SPLADE）则系统性地造成损害。即使对密集检索模型，适配器也不是对所有格式和数据集都有提升，对已经表现良好的格式有时会造成小幅下降。这意味着这不是一个放之四海而皆准的万能方案，而是一个在特定条件下有效的工具。

从更宏观的视角看，这项研究提醒我们：构建AI检索系统时，数据的"呈现方式"和数据本身一样重要，或者说，我们不应该假设AI系统能自动忽略语义无关的格式变化。随着越来越多的生产环境开始用AI系统处理表格数据，格式选择这个往往被忽略的工程细节，实际上是影响系统稳定性的一个关键参数。

当然，归根结底，这个问题的更彻底解决方案或许在于设计原生支持二维结构的表格编码器，而不是把二维表格强行压平后再试图修复压平带来的问题。这或许是未来研究的方向。有兴趣深入探讨这一课题的读者，可以通过arXiv编号2604.24040查阅完整论文，代码、数据集和模型权重也都已开源。

---

Q&A

Q1：表格序列化格式对AI检索系统影响有多大？

A：影响非常显著。以MPNet模型在NQ-Tables数据集上的测试为例，同一张表格用mschema格式存储时Recall@1仅为0.01，而用csv格式存储时可以达到0.28，差距接近30倍。在WTQ数据集上，html格式和tsv格式之间也有接近三倍的性能差异。这说明序列化格式不是细枝末节的技术问题，而是直接决定检索系统能否正常工作的关键变量。

Q2：质心表示法（Centroid）具体是怎么计算的？

A：质心表示法是把同一张表格的所有序列化格式分别输入AI编码器，得到多个向量，然后对这些向量取算术平均值。例如把CSV、TSV、HTML、Markdown等17种格式的向量加总再除以17，得到的平均向量就是质心。它在数学上被证明是距离所有格式向量之和最小的点，同时在格式引入的偏差方向各异时，取平均可以使这些偏差相互抵消，恢复表格的真实语义信号。

Q3：残差瓶颈适配器对SPLADE稀疏检索模型为何不起作用？

A：SPLADE产生的是高维稀疏向量，只有少数维度有显著数值，依靠这些维度做词汇匹配。适配器的瓶颈MLP结构会在维度之间做混合变换，不可避免地把稀疏向量稠密化，引入大量低幅度的非零值，破坏了稀疏检索赖以工作的稀疏结构。此外，对所有格式取平均会把来自不同格式的词汇信号混合，在稀疏词汇空间中产生一个语义不清晰的目标向量，比任何单一格式都更难匹配。