表格基础模型真的"靠谱"吗？Prior Labs等机构联合推出BeyondArena，揭开AI在真实场景下的表现

这项由Prior Labs、弗莱堡大学、曼海姆大学、法国国家信息与自动化研究所（INRIA Saclay）、以色列理工学院（Technion）、ELLIS Institute Tübingen、Zuse School ELIZA及Probabl等机构联合开展的研究，以预印本形式于2026年6月29日发布，论文编号为arXiv:2606.30410。感兴趣的读者可以通过这一编号在arXiv上找到完整原文。

先从一个你可能完全没意识到的问题说起。假设你是一家医院的数据分析师，你的任务是用机器学习模型预测未来哪些病人会再次入院。你手上有历史数据，想训练一个模型，然后拿去预测新病人。这听起来很简单，但问题藏在细节里：你的训练数据是过去三年的，而你要预测的是明年的病人。时间在流动，病人的特征、疾病谱、医疗政策都在变化。如果你用"从历史数据里随机抽一部分出来做测试"的方式来评估模型有多好，你得到的分数会比模型在真实部署中的表现高出很多——因为你偷偷"看"了未来的数据分布。

这个问题，正是这篇论文想解决的核心矛盾。

近年来，一类叫做"表格基础模型"（Tabular Foundation Models，简称TFM）的AI模型引发了学术界和工业界的广泛关注。所谓表格数据，就是我们日常生活中最常见的那种数据：电子表格、数据库里的记录、医院病历表、银行交易记录……和图片、文字不同，表格数据每一行是一个样本，每一列是一个特征，结构非常规整。表格基础模型的目标，是训练一个"万能选手"，无论你给它什么类型的表格，它都能直接预测，不需要针对每个任务单独训练。代表性的模型包括TabPFN、TabICLv2、TabDPT等。

这些模型在学术圈的评测中表现亮眼，论文一篇接一篇，声称在各种标准测试集上超越了传统的梯度提升树模型（如XGBoost、LightGBM、CatBoost）。然而，研究团队发现了一个严重的问题：这些标准测试集，绝大多数都是"理想化"的场景——数据是独立同分布的（简称IID，可以理解为每个样本都是从同一个袋子里随机抓出来的，训练集和测试集没有本质区别）。但现实中，绝大多数真正有价值的预测任务，数据都不满足这个条件。

换句话说，现有的评测体系就像是只在风平浪静的游泳池里测试运动员，然后就宣布他们适合参加大洋横渡比赛。这显然是不够的。

于是，这个来自多家顶级机构的研究团队决定建造一个更接近真实世界的"测试赛道"。他们把这个新基准命名为BeyondArena，并同时推出了一个用于数据整理的配套工具DataFoundry。

一、为什么现有评测标准让人不放心

现有的表格机器学习基准测试，绝大多数都有一个共同的假设：训练数据和测试数据来自同一个分布，也就是独立同分布（IID）。用更通俗的话说，就是"过去和未来长得一模一样"。

但现实中有两类非常常见的情况打破了这个假设。第一类叫"时序分裂"：你用过去的数据训练模型，然后预测未来的结果。比如用2022年之前的交易记录预测2023年的欺诈行为，或者用历史气象数据预测明年的降水量。这时候，测试集里的样本在时间上都晚于训练集，模型不能"偷看"未来。如果你用随机分割来评估这类任务，你实际上是让模型提前知道了一些"未来"的数据分布，评估结果就会虚高。

第二类叫"分组分裂"：你的数据按照某个实体来分组，比如按医院、按国家、按用户。训练集和测试集不能有同一个医院的数据，否则模型会"认识"这家医院，在测试时表现出色，但到了新医院却一塌糊涂。更具体地说，有些任务是"每组一个标签"（比如判断某个客户整体上是不是欺诈客户，依据是他的全部交易记录），有些任务是"每条记录一个标签"（比如预测某个学生的考试成绩，这个学生所在的学校在训练时从未见过）。这两类任务对模型的要求截然不同。

研究团队还特别指出，之前也有一些尝试拓展评测范围的工作，比如TabReD专注于时序数据，TextTabBench专注于含文字的表格数据，PMLB-Mini专注于小样本数据。但这些工作各自独立，使用不同的代码框架和评估标准，导致研究社区非常碎片化，不同工作的结果根本没法直接比较。

BeyondArena的目标，就是把这些碎片整合到一个统一的框架里，覆盖IID、时序、分组三种任务类型，覆盖从100条记录到100万条记录的各种数据规模，覆盖低维和高维特征，以及包含文本特征和高基数类别特征的情况，还横跨医疗、金融、商业、生物、工业等多个应用领域。

二、从1128个数据集里精挑细选：DataFoundry和142个精华数据集

研究团队做的第一件大事，是建立一个高质量的数据集合。他们的起点是1128个来自21个已有基准测试和公开数据仓库的数据集，包括UCI机器学习仓库、Kaggle、OpenML、Hugging Face等平台上的数据。

筛选过程非常严苛，分为四道关卡。第一关是去重：很多数据集虽然名字不同，其实来源一样，只是被不同的人上传到不同的平台。研究团队逐一追溯每个数据集的原始来源，剔除重复的，保留了759个。第二关是剔除"极少样本"任务：如果训练数据不足100条，这类任务需要完全不同的评估方法（比如利用大语言模型做少样本学习），不在本研究范围内。第三关是确认是否来自真正的预测任务：很多数据集虽然是表格形式，但它们的原始任务并不是标准的分类或回归预测，比如点击率预测（需要特殊的验证协议）、推荐排序任务（属于信息检索领域）、时间序列预测（需要另一套验证逻辑）。第四关是判断是否代表真实世界的应用：人工智能生成的数据、来自确定性函数的数据、图片向量化后的数据（比如把ImageNet的图片压扁成表格，但显然该用图像模型来处理）、存在严重伦理问题的数据集（比如某些涉及特定族裔的医疗数据，其社区已明确反对用于机器学习研究），都被排除在外。

经过这四关，最终保留了142个数据集，约占原始集合的12.6%。

值得一提的是，整个筛选过程完全依靠人工审查。研究团队也尝试过用AI代理来自动化这个过程，但发现效果很差——主要原因是数据平台上很多数据集缺乏足够的文档记录，AI根本没有足够的信息做出正确判断，还会产生幻觉和错误推断。所以最终，他们选择了最笨但最可靠的方式：每个数据集都有人类亲自审查，并把审查过程和决策理由记录在DataFoundry的Jupyter Notebook里，公开透明、完全可复现。

这142个数据集的构成非常丰富。从任务类型看，103个是IID任务，21个是时序任务，18个是分组任务。从问题类型看，73个是二分类、44个是回归、25个是多分类。从规模看，从只有155条记录的小数据集，到超过100万条记录的大数据集，都有覆盖。从领域看，医疗健康（38个）、商业营销（33个）、金融（18个）、生物（13个）等都有代表。从特征类型看，大多数数据集以数值和类别特征为主，但也有16个包含文本特征、30个包含高基数类别特征（即某一列可能有几十甚至上千个不同取值，比如城市名、药品名）。

这142个数据集的处理过程同样经过精心设计。研究团队对每个数据集进行了标准化处理：统一数据格式（CSV、Parquet等），统一特征类型标注（数值、类别、日期、文本），处理缺失值（把用-1、999等代理值表示的缺失转换为真正的NaN），对于日期特征提取有意义的数值表示（比如星期几、月份、用样条函数编码的周期性）。对于时序任务，他们还要仔细检查每一列是否存在"未来信息泄漏"——即某个特征在预测时实际上还不存在，不能被模型使用。

三、11个模型、142个数据集、数十万次实验：评测设计的每一个细节

研究团队评测了11个模型，可以分为四大阵营。

第一阵营是表格基础模型（TFM），包括TabPFN-2.6、TabICLv2和TabDPT。这类模型的核心特点是"上下文学习"（In-Context Learning）：不需要针对特定数据集微调权重，直接把训练数据"塞"给模型，它就能在推理时利用这些数据做预测，有点像一个见多识广的专家，看一眼你的数据就能给出判断。研究团队对这三个模型只评测了这种"零调参"的使用方式，不做针对特定数据集的微调，因为目标是评估它们作为"预训练通用模型"的泛化能力。

第二阵营是梯度提升决策树（GBDT），包括XGBoost、LightGBM和CatBoost。这是表格数据领域最强的传统方法，在工业界和Kaggle竞赛中长期占据主导地位。

第三阵营是深度学习MLP，包括RealMLP和TabM。这类模型是专门为表格数据设计的神经网络，结构比基础模型简单，但加入了很多针对表格数据的专用优化技巧。

第四阵营是基线模型，包括随机森林、极端随机树和线性/逻辑回归，作为参照基准。

对于GBDT和MLP，研究团队评测了三种使用方式：默认超参数（开箱即用）、调参后（用随机搜索跑25组配置）、调参加集成（把多个配置的预测结果组合起来）。对于基础模型，只评测上下文学习方式，不调参。

训练和评估的计算开销非常巨大。每个数据集根据规模不同，使用不同重复次数的交叉验证：对于不足500条训练样本的小数据集，用5重复5折交叉验证（共25次训练和评估）以避免过拟合调参；对于中等规模数据集用8折交叉验证；对于时序数据，手动设置多个时间分割点来模拟真实部署场景；对于分组数据，使用基于分组的交叉验证，确保同一实体不会同时出现在训练集和验证集。

TabPFN-2.6和TabDPT由于推理成本高，只在训练样本不超过10万条的数据集上运行。TabDPT基于检索式推理，对于100万样本的数据集在交叉验证下需要800万次前向传播，在现有计算预算下完全不可行。对于这两个模型在超大数据集上缺失的结果，用默认随机森林的成绩来填充。

评估指标的选择也经过仔细考量。二分类用ROC AUC（对阈值选择不敏感），多分类用对数损失（一种"严格意义上的好分数规则"，能真实反映概率预测质量），回归用均方根误差（更接近实际业务目标）。所有数据集的分数通过Elo评分和"可改进性"（Improvability）两个指标汇总，前者类似国际象棋排名，后者衡量模型与最优模型的差距百分比。整个实验估计花费约5万美元，消耗约16.25年的"墙钟时间"（即如果单线程跑完所有实验需要的时间）。

四、核心发现：基础模型在哪里赢，在哪里输

现在来到最关键的部分：这些模型到底表现如何？

从整体排名来看，调参加集成后的RealMLP以Elo分数1282排名第一，TabPFN-2.6默认模式以1224排名第二，调参加集成的TabM（1210）和CatBoost（1208）紧随其后，TabICLv2默认模式（1205）也跻身前五。看到这里，基础模型似乎表现相当不错——TabPFN-2.6和TabICLv2在零调参的情况下，竟然能和调参加集成的传统模型旗鼓相当，这说明它们确实有很强的开箱即用能力。

但当研究团队按照不同子基准来分析时，画风发生了戏剧性的转变。

在IID数据上，基础模型占据统治地位。TabICLv2在103个IID数据集上的Elo远高于其他模型，即便是调参加集成的传统模型也难以匹敌。这与之前的研究结论一致：基础模型在标准的、独立同分布的表格预测任务上表现出色。

但在时序数据（21个数据集）和分组数据（18个数据集）上，局面完全翻转。调参加集成的RealMLP成为时序和分组子基准的最强选手，基础模型的Elo分数显著下降，甚至在某些情况下不如调参的XGBoost和CatBoost。这意味着，当数据不再满足"过去和未来一模一样"的假设时，基础模型的优势大幅缩水。

从数据规模角度看，在"微型"（100-1000条）和"小型"（1000-10000条）数据集上，基础模型仍然占优。但随着数据量增加，传统模型的优势越来越明显。在"大型"数据集（超过10万条）上，基础模型的Elo显著低于调参的传统模型，尤其是RealMLP。统计检验进一步证实了这一趋势：对四种规模类别做Kruskal-Wallis检验（H=30.6，p=1.0×10??），发现基础模型在大型数据集上的归一化误差与其他规模相比有显著差异，且事后的Mann-Whitney两两比较显示，这种差距在大型数据集与其他规模之间都达到了统计显著性（秩双列相关r在0.68到0.79之间，p<0.001）。换句话说，基础模型的退化不是随机波动，而是系统性的，大概在训练样本超过10万条时开始显现。

从特征维度看，在低维数据（特征数不超过100列）上基础模型依然领先，但在高维数据（超过100列）上，调参加集成的RealMLP更胜一筹。

在含文本特征的数据集上（16个），调参加集成的RealMLP表现最好——这是因为研究团队的预处理流程把文本特征用Qwen3-Embedding-8B大型语言模型编码成32维向量，传统模型能很好地利用这些向量，而基础模型的预训练并没有针对这类特征做特别优化。

在含高基数类别特征的数据集上（30个，至少有一列类别数超过50），CatBoost（调参加集成）表现最强。CatBoost原本就是专门为处理类别特征设计的，其独特的有序目标编码机制在这类数据上有天然优势。

还有一个发现很实用：研究团队通过Spearman相关分析，找出了哪些数据特性最能预测"梯度提升树会打败基础模型"。排名第一的是数据集行数（ρ=0.603，p<10???），排名第二的是高基数类别特征列数（ρ=0.466，p<10??），排名第三的是最大类别基数（ρ=0.413，p<10??）。缺失值比例和预处理后的特征数也有一定预测力。这意味着，如果你手上的数据集行数多、有很多取值各异的类别特征、缺失值多，那你更应该考虑传统的梯度提升树模型。

五、验证实验：为什么每个评测细节都不能马虎

除了主要结论，研究团队还做了大量"消融实验"——即通过改变评测设置的某一个细节，来验证主要结论是否稳健，以及每个设计选择是否合理。

首先是关于外部分割（训练集/测试集如何划分）的问题。研究团队用两个分组数据集做了实验：如果把分组任务的测试集按照IID方式（随机抽取）而非按分组划分，模型排名会发生严重扭曲（Kendall τ分别为0.49和0.60，1.0表示完全相同），而且某些任务会变得几乎"过于简单"，所有模型都能接近完美，完全无法区分模型优劣。这证明了使用正确的分割方式对评测结果的重要性。

其次是关于内部交叉验证方式的问题。对于小数据集（不足500条训练样本），研究团队用"5重复5折交叉验证"而非简单的"8折交叉验证"来做超参数调优。实验证明，5×5的方案在所有模型上都取得了更好的最终测试成绩，尤其对RealMLP的提升最为显著，因为这类模型在调参时更容易"过拟合"到内部验证集。

第三是关于非IID任务的内部验证方式。研究团队对时序和分组任务使用了与任务类型匹配的内部验证分割（时序任务用基于时间分箱的折叠，分组任务用基于分组索引的折叠），而不是简单的随机分割。实验证明，使用匹配的内部验证分割平均能提升最终测试成绩，对LightGBM和线性模型的提升尤为显著。

第四是关于分组数据的预处理。研究团队为标签按组的任务（即整个组共享一个标签）开发了一种"分组编码"：对每个组的所有样本进行统计聚合（均值、标准差、最小值、最大值、最后一个值等），然后选择方差最大的50个聚合特征，用这50维向量替换原来的组索引列。实验显示，这种预处理对大多数模型有帮助，但对TabPFN-2.6反而有负面影响——加了这个预处理后TabPFN-2.6反而表现更差。这表明TabPFN-2.6对这类人工构造特征的适应性不如传统模型，也为未来的研究留下了一个有趣的问题。

第五是关于文本编码的选择。研究团队比较了用Qwen3-Embedding-8B（大型语言模型编码）和用TF-IDF（经典文本统计方法）来处理文本特征。结果发现，对于平均字符数不超过50的"短文本"，Qwen3更好；但对于平均字符数超过50的"长文本"，TF-IDF反而更好。不过，不同编码方式对模型排名的影响不大，说明主要结论是稳健的。研究团队建议未来应该把文本编码方式纳入超参数搜索空间。

第六是关于概率校准对对数损失的影响。对于多分类任务，模型输出的概率需要良好校准才能得到低对数损失。研究团队事后给所有模型的预测结果加上了结构化矩阵缩放（SMS）校准，发现大多数模型（尤其是树模型）在加了校准后得分显著提升，但TabPFN-2.6和RealMLP加校准后反而变差——说明这两个模型本身已经有良好的概率校准机制。研究团队建议未来的基准测试应该默认对其他模型启用概率校准。

六、基准测试本身也需要"省着用"：BeyondArena-Core的设计

运行整个BeyondArena基准测试的成本极高：全部实验加起来需要约16.25年的单线程计算时间，总花费约5万美元。为了让计算资源有限的研究人员也能复现部分结果，研究团队设计了两个精简版本。

TabArena-Lite的方式（来自同组的之前工作）是只取每个数据集的第一个分割点来评估，这样能把计算量降低到原来的约1/9，而且对全局模型排名的影响很小。但缺点是，针对单个数据集的评估会变得很不稳定——有些数据集可能因为某一次分割结果偶然很好或很差，导致单个数据集上的模型排名完全失真。

BeyondArena-Core则更聪明：它根据每个数据集内部不同分割点结果的相关性，用斯皮尔曼-布朗预测公式计算出"达到稳定性目标Φ=0.8需要多少个分割点"，然后只为那些真正需要更多分割点才能稳定的数据集保留更多次评估，其他数据集则减少。这样，整体计算量降低到原来的约1/5，但单个数据集的评估稳定性比Lite版本提升了2.3倍。研究团队建议：如果只需要报告全局排名，用Lite版本就够了；如果要分析哪些模型在哪些数据集上表现好，应该使用Core版本。

七、还有哪些被忽视的细节

在评测过程中，研究团队还揭示了几个之前从未被系统研究过的现象，值得特别关注。

关于调参和集成的价值：对所有8个传统/深度学习模型，调参都带来了显著提升，集成同样如此，而且两者叠加的效果最好。这两个步骤的提升通过Wilcoxon签秩检验证明在所有16组比较中都达到统计显著性（p<0.001）。RealMLP从调参到集成的提升最大（秩双列相关r=0.87），LightGBM从默认到调参的提升最大（r=0.89）。这意味着，如果你选择传统模型，花时间调参和做集成绝对值得。

关于基础模型的推理时间：TabICLv2和TabPFN-2.6的推理时间远高于传统模型（比CatBoost慢约10-100倍），这在需要低延迟实时预测的应用场景中是不可忽视的代价。研究团队展示了"可改进性vs推理时间"的Pareto前沿，发现CatBoost（调参加集成）在推理时间上占据主导地位，而RealMLP（调参加集成）能以极高的预测质量换取较高的推理时间成本。

关于早停机制：现有的表格基础模型不支持早停（即在超出时间预算时自动停止并返回当前最佳结果）。研究团队指出这是基础模型在工程实用性上的一个缺陷，并有另一篇配套研究专门探讨了如何为基础模型添加早停支持。

说到底，这篇论文的核心贡献可以用一句话概括：它用一个更真实、更全面的考场，重新考了一遍那些宣称自己是"万能选手"的表格基础模型，得出了一个既有激励意义又值得警惕的结论——这些模型在"风平浪静"的小规模IID任务上确实很厉害，但在"波涛汹涌"的现实任务面前，它们还需要继续成长。

对普通用户来说，这意味着在选择机器学习工具时，真正重要的不是某个模型在标准测试集上的排名，而是它在你自己的任务场景下的表现。如果你的数据是历史累积、按时间流动的（比如金融交易、用户行为日志），或者你需要把模型推广到新的医院、新的城市、新的客群，那么不要盲目相信基础模型的宣传，经过精心调参和集成的传统梯度提升树模型往往才是更可靠的选择。

这个研究也为AI领域的研究者提出了明确的攻坚方向：如何让表格基础模型在大规模数据上更高效、在非IID场景下更鲁棒、在高基数类别特征面前不手足无措——这些都是未来几年真正有价值的研究问题。

感兴趣的读者可以通过arXiv编号2606.30410获取完整论文，相关代码和数据集则可以在tabarena.ai/code和GitHub上的TabArena/data-foundry仓库找到。

Q&A

Q1：BeyondArena基准测试和以前的表格数据基准测试有什么区别？

A：以前的基准测试大多只测"独立同分布"（IID）场景，也就是训练数据和测试数据来自同一个随机分布。BeyondArena增加了时序任务（用过去预测未来）和分组任务（推广到未见过的新实体），同时覆盖了从百条记录到百万条记录的各种规模，以及含文本特征、高基数类别特征的多种数据类型，更接近真实业务场景。

Q2：表格基础模型（TFM）在什么情况下比传统梯度提升树更有优势？

A：表格基础模型在数据量小（不足1万条）、特征维度低、数据满足独立同分布假设的任务上明显占优，尤其是在不调参、开箱即用的情况下表现出色。但当数据量超过10万条、含大量高基数类别特征、或者数据具有时序/分组结构时，精心调参和集成的传统模型（如RealMLP、CatBoost）往往更胜一筹。

Q3：DataFoundry是什么，普通研究者可以用吗？

A：DataFoundry是这项研究配套推出的Python工具框架和元数据规范，用于规范化地整理和记录表格数据集。它包含数据检查、训练测试分割、元数据模式等功能，每个数据集对应一个可复现的Jupyter Notebook。这套工具和142个精选数据集的处理代码都已完全开源，任何研究者都可以免费使用，网址是github.com/TabArena/data-foundry。