当AI遇上"多模态表格"：以色列理工学院等机构联合打造的MulTaBench，如何让机器真正"看懂"图片和文字中的隐藏信息？

这项由以色列理工学院（Technion）、Prior Labs、NVIDIA、法国国家信息与自动化研究所（INRIA Saclay）SODA团队、弗莱堡大学、Probabl以及图宾根ELLIS研究所联合完成的研究，于2026年5月以预印本形式发布在arXiv，论文编号为arXiv:2605.10616v1。感兴趣的读者可以通过这一编号查阅完整原文。

一、为什么这件事值得关注

在日常生活中，我们做决策时往往会综合多种信息：看一张照片、读一段描述、对比几个数字。一个医生诊断病人，不光看胸部X光片，还要结合患者年龄、吸烟史和既往病历；一个购物平台推荐商品，不光靠商品照片，还要参考文字描述和价格区间。这种"图片+文字+数字"混合在一起的数据，就是研究者所说的"多模态表格数据"——既有整整齐齐排列在表格里的数字列，又有非结构化的照片和长段文字。

然而，目前最先进的AI系统在处理这类混合数据时存在一个根本性的缺陷：它们对图片和文字的处理方式，就像是把新鲜食材磨成了固定口味的调味粉——方便存储和使用，但原材料里那些微妙的滋味已经大打折扣。这些AI系统使用的是"冻结"的预训练嵌入向量，简单来说就是：先用某个通用的图像或文字理解模型，把照片或文字压缩成一串固定的数字，然后把这串数字喂给专门处理表格的AI模型。这个过程是单向的、一次性的，图像理解模型和表格分析模型之间没有任何"沟通"。

问题就在这里：同样一张胸部X光片，用于判断"这是X光片还是CT扫描"和用于判断"患者是否有肺炎"，需要关注的细节天差地别。通用的图像理解模型在压缩图片时，会保留那些在各种场景下都有用的全局特征，却可能丢掉某个具体任务中最关键的细节，比如肺部纹理的微小异常。这就是研究团队所说的"任务无关表示"的局限性。

这项研究的核心贡献，是系统性地证明了这个问题的普遍性，并构建了一个专门针对这一挑战的新基准数据集——MulTaBench，包含40个精心筛选的数据集，覆盖图片与表格的组合以及文字与表格的组合两大类别。

二、读懂这项研究的核心比喻：给相机配上"任务专用镜头"

理解这项研究，可以用一个摄影的比喻贯穿始终。

通用的预训练嵌入模型，就像一台配备了标准套头的相机——它能拍出清晰的全景照片，捕捉宏观构图和主要元素，适合绝大多数日常拍摄场景。但当你需要拍摄一张用于医学诊断的显微镜照片时，标准套头就力不从心了，因为它根本无法聚焦到那个分辨率级别的细节。

研究团队提出的"目标感知表示"（Target-Aware Representations，简称TAR），就相当于为相机配上了"任务专用镜头"——针对具体的预测任务，对图像或文字理解模型进行微调，让它的"焦距"和"感光度"都针对当前任务进行优化。这样产生的表示，既保留了通用理解能力，又强化了对任务关键信息的捕捉。

这个镜头的调配过程，在技术上是通过一种叫做LoRA（低秩适应）的轻量级微调方法实现的：研究团队只调整编码器最后三层的参数，相当于只给镜头换了最后一组光学元件，而不是重新制造整台相机。这种方法计算成本相对可控，同时效果显著。

三、什么样的数据集才算得上真正的多模态表格挑战

这项研究面对的一个关键问题是：现有的多模态表格基准数据集，真的能反映这类任务的核心难点吗？

研究团队发现，现有基准数据集的一个普遍问题是"只要求模态共存，不要求模态互补"。换句话说，很多数据集里虽然同时有图片、文字和数字，但各个模态的信息严重重叠，或者其中某个模态根本不重要。这就好比一道"考验厨艺"的题目，却让人做一道"把所有食材直接堆在盘子里不需要加工"的菜——表面上用到了很多食材，但完全没有体现烹饪的价值。

为此，研究团队制定了两条进入MulTaBench必须满足的硬性标准。

第一条标准叫做"联合信号"：把两种模态放在一起预测，效果必须比任何单一模态都好。这确保了每种模态都在贡献独特的、不可替代的信息。在前面的肺炎诊断例子里，X光片提供了肺部的空间纹理信息，而年龄和吸烟史提供了临床风险因素——两者缺一不可。

第二条标准叫做"任务感知性"：使用针对预测目标微调过的嵌入（也就是前面说的"任务专用镜头"），效果必须明显好于使用通用的冻结嵌入。这一条是为了确保数据集里的图片或文字信息确实包含了"任务关键的细粒度细节"，而不是那种通用模型随便扫一眼就能抓住的粗粒度特征。

一个不满足这两条标准的典型反例是：如果某个数据集的任务是判断一张医学扫描图像是X光还是磁共振，那任何通用的图像模型都能轻松完成这项任务，因为这两种图像的外观差异极其显著，完全不需要任务专用的细粒度表示。这样的数据集就会被筛除出去。

四、筛选流水线：每个数据集都要过五关斩六将

为了操作化这两条标准，研究团队设计了一套严格的自动化筛选流水线，每个候选数据集都必须在四种不同的实验条件下接受评估。

第一种条件是"纯表格"：只用数字和类别型特征训练模型，完全忽略图片或文字。第二种条件是"纯非结构化"：只用图片或文字的通用嵌入，忽略所有表格特征。第三种条件是"联合冻结"：同时使用表格特征和图片/文字的通用嵌入，但不对嵌入模型进行任何微调。第四种条件是"联合任务感知"：同时使用表格特征和微调后的嵌入，即完整的TAR方案。

每个数据集在五种不同的表格学习模型上重复这四种条件的实验，每种模型跑五次随机种子。这五种模型涵盖了当前表格学习的主要范式：轻量级梯度提升树LightGBM和CatBoost、基于MLP的TabM，以及两种最先进的表格基础模型TabPFNv2和TabPFN-2.5。

只有当一个数据集在至少三种（五种中的三种）模型上同时满足"联合冻结优于两个单模态基线"且"联合任务感知优于联合冻结"这两个条件时，才能进入MulTaBench。这个标准相当严格，确保了入选数据集的挑战性和可靠性。

图片和文字的嵌入分别使用e5-v2-small（处理文字）和DINO-v3-small（处理图片），这两个模型都属于"性价比高"的小型模型。在嵌入提取之后，还要用PCA（主成分分析）把维度降到30，这一步既防止过拟合，又保证计算效率。

五、MulTaBench的40个数据集：一次横跨医疗与电商的大规模探险

通过筛选流水线后，研究团队最终构建了包含40个数据集的MulTaBench，其中20个是图片与表格的组合，20个是文字与表格的组合，分类任务和回归任务各占一半。数据集规模从400条记录到11.4万条不等，表格特征数量从1个到245个不等。

图片表格类的20个数据集覆盖了相当多元的领域。医疗方向有CheXpert胸部X光数据集（4.6万张影像，预测心脏扩大情况）、乳腺钼靶数据集CBIS-DDSM（1696张影像，预测乳腺密度分级）、青光眼诊断数据集Glaucoma SMDG（1.2万张眼底照片）以及乳腺癌数据集Mammography CMMD（5202张影像）。电商方向有宠物领养数据集PetFinder（1.4万条宠物照片加描述，预测宠物年龄）、亚马逊畅销商品数据集（3488个商品，预测价格）、亚马逊仓库箱子数据集（4.6万张箱子照片，预测重量）。时尚方向有H&M服装数据集（10.4万件服装，预测购买客群平均年龄）、巴基斯坦时装品牌Khaadi服装数据集（400件，预测价格）。还有娱乐方向的CS:GO游戏皮肤价格预测（956件皮肤）、Letterboxd电影评分预测（1.25万部电影）等，以及科学领域的浮游生物分类数据集Zooscan Plankton（10万个标本）。

文字表格类的20个数据集同样多元：包括虚假招聘信息识别（1.27万条职位，预测是否欺诈）、Jigsaw有毒评论检测（10万条评论，二分类）、Kickstarter众筹成功预测（8.65万个项目）、Michelin米其林餐厅评级预测（1.88万家餐厅，五级分类）、Spotify音乐流派分类（11.4万首歌曲，114个流派）、葡萄酒品种识别（8.4万条品酒笔记，30个品种）、女性服装评分预测（1.88万条评论）等。

这40个数据集构成了迄今为止最大规模的图片表格学习基准，也是第一个明确以"任务感知性"为核心筛选标准的多模态表格学习基准。

六、文字表格类的筛选结果：只有约四成数据集通过了考验

研究团队从现有四个主流文字表格基准（AutoML多模态基准、Grinsztajn等人的基准、CARTE和TextTabBench）中汇总了56个独特数据集，对它们全部进行了筛选。

结果颇为令人意外：约23%的数据集在"联合信号"这一关就被淘汰，说明这些数据集里文字和表格信息高度重叠，联合建模并不比单模态好多少。在通过联合信号筛选的数据集中，又有约36%在"任务感知性"这一关被淘汰，说明通用嵌入已经足够好，任务专用的微调并不能带来额外收益。最终只有约41%的数据集同时满足两个标准。

从各个来源基准的通过率来看，CARTE的通过率最低，只有33%。这一结果并不令人意外，因为CARTE的设计初衷是聚焦于"知识图谱式的短字符串和高基数类别"，这类数据的特征是文字本身就已经是精炼的实体名称，通用嵌入模型对这类文本的处理已经相当到位，任务专用微调的空间自然不大。相比之下，AutoML多模态基准（62%通过率）和Grinsztajn等人的基准（64%通过率）的数据集质量更符合MulTaBench的要求。

七、图片表格类的筛选：从16个现有数据集中只有5个过关

图片表格学习领域的现有基准数据远比文字表格匮乏。研究团队从TIME、MultimodalTabPFN、MuG和Tang等人的工作中汇总了16个可以评估的数据集，但其中只有5个（约31%）通过了筛选，比例与文字表格类的41%相近。

更棘手的问题是这些现有数据集的质量和可复现性。部分数据集的图片通过外部URL链接，但这些链接已经失效；还有一些数据集的来源Kaggle页面已被删除；更多数据集缺乏明确的预处理文档，导致很难忠实地复现原始实验。

面对这一困境，研究团队手动从Kaggle上搜集了大量候选数据集，经过筛选后补充进来，最终凑齐了20个高质量的图片表格数据集。整个收集过程遭遇了三类主要挑战：第一是公开数据仓库中元数据混乱，难以判断数据集是否适合；第二是图片数据体量庞大，加之外部图片链接脆弱易断；第三是每个数据集的适当预处理方式各不相同，需要逐一判断。

为了保证可复现性，研究团队将所有20个图片表格数据集统一上传到Kaggle，采用标准化的目录结构（一个`images/`文件夹存放图片，一个`data.csv`存放特征和标签），并提供统一的数据加载API。

八、任务感知表示的有效性：在所有新测试模型上一致成立

证明了MulTaBench的独特性之后，研究团队转向一个更重要的问题：这个数据集的筛选标准，对于我们在筛选时没有用到的那些模型，是否同样有意义？

为了验证这一点，研究团队在MulTaBench上额外评估了8个新的表格学习模型：XGBoost、随机森林、RealMLP、TabDPT和TabICLv2——这五个是标准的嵌入型模型，另外还有TabSTAR和ConTextTab（这两个模型原生支持文字输入，直接端到端处理），以及AutoGluon-Multimodal（原生处理图片和文字的端到端多模态系统）。

结果非常清晰：对于所有提供了"冻结嵌入"和"任务感知嵌入"两种条件的模型，任务感知嵌入无一例外地优于冻结嵌入，无论是在图片表格子集还是文字表格子集上。这一发现的意义在于：MulTaBench的筛选标准所捕捉到的任务难点，是一种本质性的数据特性，而非某几种特定模型的偶然偏好。

特别值得关注的是梯度提升树（GBDTs）类模型：LightGBM、CatBoost和XGBoost在任务感知表示上的提升幅度是所有模型中最大的。这可能是因为树模型对特征的使用方式更加局部化和精细，因此更能受益于表示质量的提升。

另一个有趣的发现涉及ConTextTab：这个模型曾在CARTE基准上创下最佳成绩，但在MulTaBench的文字表格子集上，它的表现不仅落后于AutoGluon-Multimodal和TabSTAR这两个原生多模态系统，甚至在所有使用了任务感知嵌入的标准模型中垫底。这一对比鲜明地说明，MulTaBench针对的是与CARTE截然不同类型的文字表格挑战：CARTE考验的是对知识图谱式短字符串的语义理解，而MulTaBench考验的是对细粒度、任务相关信息的深度提取。

九、更大的模型不是万能钥匙：小模型微调后能打败大模型冻结

研究团队还专门验证了一个直觉性的疑问：如果换用更大、更强的嵌入模型，是否就不需要任务感知微调了？

为此，他们把DINO-v3-small换成了DINO-v3-large（参数量约增加10倍，输出维度从384增加到1024），把e5-small-v2换成了e5-large。结果显示，更大的嵌入模型确实能提升下游表格模型的预测性能，但任务感知微调的优势依然存在——"大模型冻结"的效果仍然明显不如"大模型微调"。更令人印象深刻的是，"小模型微调"（TAR Small）的效果甚至超过了"大模型冻结"（Frozen Large）。

这个发现打破了一个常见的直觉：更大的模型不等于更好的任务相关信息提取。模型容量的增加，只是提升了对语义空间的覆盖广度，并不能保证针对特定任务的细粒度信息得到更好的保留。这正是"镜头口径越大，不一定就能拍清楚更细微的物体"——还需要正确地调整焦距。

十、嵌入维度的影响：压缩到15维、30维还是60维，任务感知性依然胜出

研究团队默认使用PCA将嵌入压缩到30个维度。为了验证这一选择的合理性，他们还对比了15维和60维，以及完全不使用PCA直接用384维原始嵌入的情况（后一种仅在CatBoost和LightGBM上测试，且只用于特征数量较少的数据集）。

在所有这些维度设置下，任务感知嵌入始终优于冻结嵌入。这说明，任务感知微调所带来的信息质量提升，是嵌入中真实存在的内容改变，而非某种仅在特定压缩比下才显现的统计伪影。换句话说，给相机换上任务专用镜头后拍出来的照片，确实包含了更多任务相关的细节——无论你最终把照片缩放到什么尺寸来使用，这种改善都是真实的。

十一、眼见为实：注意力图揭示了"焦距调整"的直观效果

研究团队利用DINO-v3的一个特性——可以提取最后一层的"注意力图"（attention map）——来直观地展示任务感知微调前后，模型关注的图像区域发生了什么变化。

在CheXpert胸部X光数据集上（预测心脏是否扩大），微调前的注意力散布在肋骨边缘和图像周边的各种解剖结构上；微调后，注意力清晰地集中到了右侧肺部下叶区域——这正是评估心脏大小和相关肺部变化时最关键的区域。

在Glaucoma青光眼数据集上，微调前的注意力随机散布在整个视网膜上；微调后，注意力精准地聚焦到了视盘（optic disc）和神经纤维层区域，这是临床上判断青光眼的核心解剖标志。

在PetFinder宠物领养数据集上（预测宠物年龄段），微调后的模型学会了抑制图像背景中的杂乱信息，转而关注动物本身，尤其是猫的耳朵（幼猫的耳朵比例和形状与成猫有明显差异）和狗的眼睛区域，这些正是通过外观判断年龄的关键特征。

在Celebs名人吸引力评分数据集上，微调前的注意力分散在背景、服饰配件和文字水印上；微调后，注意力几乎全部集中在面部核心区域。

这些注意力图从视觉上印证了TAR的工作机制：微调让编码器的"相机焦距"从通用的全局语义描述，转向了对当前预测任务最有判别力的局部细节。

十二、三模态数据集：当图片、文字和表格三者同时登场

MulTaBench的20个图片表格数据集中，有8个同时包含文字字段，研究团队对这8个数据集进行了额外的三模态分析，检验文字模态是否也满足前面提到的两条标准。

结果发现，只有2个数据集同时满足图片、文字、表格三模态均有独立贡献且两种模态均受益于任务感知微调的条件：PetFinder和Amazon Packages（亚马逊仓库箱子重量预测）。

以PetFinder为例，研究团队列出了详细的实验结果：当只用图片时，五种模型的AUC（分类准确性指标）在77到81之间；当只用文字时，AUC在72到76之间；当只用表格特征时，AUC在77到82之间。当三种模态联合使用冻结嵌入时，AUC提升到81到85之间。而当对图片进行任务感知微调时，AUC进一步提升到84到85；对文字进行任务感知微调时，AUC达到86到87；对两种模态都进行任务感知微调时，AUC达到了最高的85.7到88.0，比只用冻结嵌入的联合方案高出约3到4个百分点。这一系列数字清晰地展示了TAR在多模态场景下的叠加效应。

十三、计算成本：任务感知微调的代价几何

任何研究方案都需要面对实际成本的考量。研究团队在NVIDIA A100 GPU上测量了各种条件下的运行时间和显存占用。

对于图片表格数据集，使用小型DINO编码器时，冻结条件每次（数据集×折）的中位运行时间约为130秒，而任务感知条件约为290秒，大约是冻结条件的两倍。使用大型编码器时，冻结约需410秒，任务感知约需1000秒。

对于文字表格数据集，情况明显更费时：使用小型E5编码器时，冻结条件约需220秒，而任务感知条件约需2400秒，是冻结条件的约十倍。使用大型E5编码器时，任务感知条件甚至接近三小时。原因在于文字表格数据集往往包含多个文字字段，每个字段都需要单独嵌入，实际数据量远大于图片数据集。

研究团队指出，所有这些实验都没有进行超参数优化（HPO）。如果加入HPO（通常需要对每个超参数组合重复整个微调流程以避免数据泄露），计算成本将成倍增加。这也是当前TAR方案在实际部署中面临的一个主要挑战。

十四、研究的限制与未来方向

研究团队坦诚地指出了这项工作最重要的一个局限性：筛选标准与算法方案之间存在耦合。简单来说，判断一个数据集是否应该进入MulTaBench的标准，本身就依赖于TAR方法是否有效——这两件事在逻辑上是缠绕在一起的。这意味着，用于筛选的那五种模型，在MulTaBench上不能被公平地与其他方法比较，因为它们在某种意义上是"裁判员"和"参赛者"的双重身份。

不过，研究团队也指出了这一设计的合理性：他们的目标不是在MulTaBench上宣告某个最好的模型，而是构建一个专门用于测试"是否需要任务感知的多模态融合"这一特定能力的工具。MulTaBench筛选出的数据集，代表的是当前模型在这个维度上普遍面临挑战的真实难题。

从更宏观的视角来看，这项研究为多模态表格基础模型的未来发展指明了一个方向。研究团队参考了Van Breugel和Van Der Schaar此前提出的表格基础模型的四个核心设计目标，并提出了第五个：文字和图片的嵌入应该是目标感知的。他们认为，理想的未来架构应该将"上下文学习"（in-context learning，即无需微调直接在新任务上预测）的效率和鲁棒性，与"微调"（finetuning，即针对具体任务更新模型参数）的任务感知能力结合起来。把表格基础模型与大型语言模型或视觉语言模型深度耦合，是一个有希望的探索方向。

说到底，这项研究解决的是AI系统在理解"混合信息"时的一个根本性盲区：通用的信息压缩方式，并不总是保留了任务最需要的那部分信息。MulTaBench的价值在于，它提供了一个被精心设计过的测试环境，让研究者能够准确衡量"是否针对任务调整了信息表示"这件事究竟能带来多大的差别。在医疗诊断、电商推荐、内容审核等需要同时分析图像、文字和结构化数据的真实场景中，这个差别可能意味着相当可观的性能提升。

对于想要深入了解技术细节的读者，完整论文已公开发布，可通过arXiv编号2605.10616查阅。

Q&A

Q1：MulTaBench和现有多模态表格基准有什么本质区别？

A：现有基准主要关注不同模态是否同时存在，而MulTaBench要求数据集同时满足两个更严格的条件：各模态必须提供不可替代的独立信息（联合信号），且通用嵌入必须无法捕捉任务关键的细粒度信息（任务感知性）。现有基准中约59%的数据集无法通过MulTaBench的筛选标准。

Q2：目标感知表示（TAR）的微调具体是怎么做的？

A：TAR通过LoRA方法对图像或文字编码器的最后三层进行轻量级微调，以预测目标为训练信号，整个过程独立于表格学习模型进行。对于回归任务，连续标签会被离散化为20个等频率的分箱，然后用交叉熵损失训练，这比直接回归微调更稳定。所有超参数在所有数据集上保持固定，没有进行任务专属调整。

Q3：任务感知表示方案的计算开销有多大，实际中是否可行？

A：图片编码器（DINO-v3-small）的TAR微调大约比冻结方案慢两倍，单次运行约需290秒。文字编码器（E5-small）的TAR开销更大，约是冻结方案的十倍，约需2400秒。如果加入超参数搜索或交叉验证，成本还会成倍增加。研究团队认为这是当前方案的主要实践限制，理想的未来架构需要在效率和任务感知能力之间找到更好的平衡。