当TabFM遇上会写代码的AI：谷歌团队让表格预测模型学会了看懂列名

先说一个可能会颠覆你认知的事实：现在最先进的表格预测AI模型，压根不知道它正在处理的是"血压"还是"股价"。

它们只看到一堆数字和类别编号。一个叫systolic_bp（收缩压）的列，和一个叫X_17的匿名列，在模型眼里是完全一样的东西，都是浮点数矩阵里的某一列。这就好比你请了一位统计学天才来帮你分析病历，但这位天才是色盲加失语症，他能看出数字之间的规律，却永远不知道这些数字代表着心跳还是血糖。

这就是2026年这篇论文要解决的核心矛盾。

表格基础模型的聪明与失明

先解释一下背景。

表格基础模型：一类专门处理表格数据（比如Excel表、数据库表）的AI模型，通过在海量合成数据上预训练，不需要针对每个新任务重新训练，一次前向计算就能给出预测结果。

这类模型比如TabPFN、TabICL、还有这篇论文的主角TabFM，训练方式挺有意思：它们不是在真实世界的表格上学习的，而是在电脑自动生成的、根本不存在的假表格上练出来的本事。这有点像让一个厨师只靠看菜谱插图学做菜，从没进过真实厨房闻过食材的味道。

这种训练方式的好处是效率极高，模型能在几秒钟内处理一个从没见过的新表格，不需要梯度下降、不需要反复迭代，直接一次推理给出结果。这个能力在2023年TabPFN横空出世时就震惊了不少人，它甚至能打平经过精心调参的梯度提升树模型（比如XGBoost、LightGBM这些统治表格预测领域多年的老将）。

但代价也很明显。

这些模型对着"systolic_bp"这样的列名毫无反应，因为它们的注意力层只处理数值大小和类别索引，压根没有理解语言的能力。

它们不知道某个数值0其实代表"缺失测量"而不是真实的零。它们无法把ICD9诊断代码按照医学分类体系分组。它们更别提从列名里推导出物理公式了，比如某个工程数据集里，"frequency"和"chord-length"两列本来可以组合出一个专业的声学参数，但模型根本意识不到这种组合关系存在。

之前有团队做过TabFM+，试图给TabFM打补丁，加入了一些通用操作，比如特征交叉、奇异值分解投影、多视角集成。

奇异值分解（SVD）：一种矩阵分解技术，能把复杂的数据矩阵拆解成几个简单矩阵的乘积，常用于降维和提取数据中最重要的模式。

但这些操作是"盲目"的，不管列名叫什么，它统一做同样的数学变换，就像一个不会说外语的翻译软件，只会把每个单词逐字替换，根本不理解句子的真实含义。

那为什么不干脆用大语言模型来直接预测表格数据呢？答案是大语言模型虽然能读懂列名的语义，却是个糟糕的数字计算器。它们受限于上下文长度，数字被切分成奇怪的token导致精度损失，输出的概率也常常不校准。用大语言模型直接做表格预测，效果反而不如专门的表格模型。

于是就出现了另一条路线：机器学习工程智能体，简称MLE智能体。这类系统让大语言模型去编写完整的训练脚本，从零开始训练树模型或者神经网络，并且在搜索过程中不断调整特征、模型架构、超参数。

问题是这条路也不好走。

同时搜索特征工程、模型架构、超参数这三件事，噪声实在太大了。今天训练出来的模型比昨天好一点，到底是因为你的新特征真的有用，还是仅仅因为这次随机种子运气好？这种训练本身带来的方差，常常会把一个真正有效的小改进彻底淹没，甚至导致模型在验证集上表现优异，换到测试集上就崩盘，这就是过拟合。

TabFM-Auto的设计哲学：冻住模型，只改数据

论文提出的方案叫TabFM-Auto，核心思路说起来挺朴素：把表格基础模型TabFM完全冻结不动，不碰它的任何权重参数，然后让一个语言模型智能体专心去改造喂给它的数据管道。

这个设计决策背后藏着一个关键洞察。

如果你把模型训练和特征搜索这两件事绑在一起做，你永远分不清楚，今天的分数提升到底来自更好的特征，还是来自随机的训练波动。

而如果模型权重完全冻结，每次候选方案的评分变化，就只能来自你对数据管道的修改。

这就好比你想知道到底是换了新食谱还是换了新厨具让这道菜变好吃了，最稳妥的办法就是先固定厨具不变，只改食谱，等确认食谱有效之后再去考虑换厨具。如果两件事同时改，菜好吃了你根本说不清是谁的功劳，菜难吃了你也不知道该怪谁。这不是一句空洞的比喻，论文里专门做了一组对照实验来验证这个直觉：让同一个智能体、同一个语言模型、同样的6小时预算，去自由训练任意机器学习模型（LightGBM、CatBoost、神经网络都行），最终这套"自由搜索"方案的Elo评分只有1468.8分，比冻结TabFM再做管道搜索的方案低了整整510.8分。研究者把这个差距拆解开来看：TabFM本身预训练带来的先验知识贡献了316.5分的提升，管道搜索本身又贡献了194.3分。换句话说，与其让AI自己瞎训练模型，不如站在一个已经很强的模型肩膀上，专心把喂给它的数据打磨好。

具体这个数据管道长什么样？论文把它拆成了四个模块化的Python函数。

第一个函数preprocess()负责数据清洗和目标变量的预处理。它要处理的是模型读不懂的那些"暗号"，比如某个数值0其实代表缺失测量。借助数据集的元信息，这个函数能把这类占位符重新编码成缺失值标记，过滤掉损坏的训练行，还能对偏态分布的目标变量做可逆变换，比如取对数压缩数值范围。

数据集元信息：包括列名、单位、任务描述、辅助文件结构在内的所有背景信息，这些信息本身不会被塞进模型的数值输入里，但语言模型智能体可以读懂它们并据此写代码。

第二个函数engineer()才是真正体现语言模型智能的地方。给定清洗后的表格，这个函数把元信息翻译成具体的特征列，包括基于领域知识的比率和公式、分组统计量、辅助文件摘要，也包括跨越训练集和测试集的无标签特征，比如实体关系图里的节点度数。把一个物理公式写成一列，就相当于替模型提前算好了答案，模型自己就不需要在上下文里费劲推导这个公式了，这一点在真实世界的复杂表格上帮助最大。

第三个函数sample()管的是上下文选择。TabFM是在最多16384行的表格上预训练的，如果真实数据集远超这个规模，简单粗暴地均匀抽样可能会把稀有类别整个丢掉。sample()因此可以构建多个上下文子集，按类别分层或者对少数类过采样，再把多个视角下的预测结果合并起来，相当于变相扩充了模型能"看到"的数据量。

第四个函数postprocess()负责后处理和输出校准。回归任务里要把预测值从变换后的尺度转换回原始尺度，分类任务里则可能需要把预测概率往训练集的真实类别比例上做偏移，或者做温度缩放。这一步存在的原因是，TabFM是在合成数据上练出来的直觉，合成数据的类别平衡和置信度分布，未必和你手头这份真实数据吻合。

整个搜索过程从一个叫做"恒等管道"的起点开始，这个起点什么都不做，原样把表格丢给TabFM，用默认设置跑一遍。之后智能体不断修改这四个函数，用三折交叉验证在训练集上打分，只保留能提升验证分数的改动。

三折交叉验证：把训练数据切成三份，轮流用其中两份训练、一份验证，重复三次取平均分数，这样能更可靠地评估一个方案的真实效果，而不是被某一次偶然的数据划分误导。

因为TabFM全程冻结不需要梯度训练，每个候选方案跑一次的成本极低，这就让智能体可以在几个小时内评估成百上千个候选方案，而不用像训练神经网络那样每次都要等上几十分钟。

为了防止智能体作弊偷看测试集标签，整套评估系统跑在一个隔离的沙盒环境里，断网、只读系统库、写入权限限制在临时目录，而且官方测试集在搜索阶段被整个卸载掉，只有搜索完全结束、最终方案确定下来之后，才会在一个独立环境里跑一次官方测试评分。

五套配置，全部包揽前五名

研究团队测试了五种配置，组合了三种智能体框架（Claude Code、Codex、Antigravity）和两种语言模型（Claude Opus 5和Gemini 3.8 Flash）。

在TabArena这个包含51个数据集（38个分类任务、13个回归任务）的基准测试上，这五套TabFM-Auto配置直接包揽了总排行榜前五名，最强的Codex配Opus 5组合把TabFM的Elo评分从1785分拉到了2013分，整整提升了228分，超过了4小时调参的AutoGluon 1.5集成模型（1668分），差距接近350分。

Elo评分：源自国际象棋等级分系统，通过两两对比"打分"，分数越高代表在成对比较中赢面越大，这里被用来给不同的表格预测方法排名。

分开看分类和回归两条赛道，结果同样亮眼。在38个分类数据集上，TabFM-Auto把TabFM从1768.7分提到1966.3分，提升了将近200分；在13个回归数据集上提升更夸张，从2045.9分冲到2512.9分，提升了467分，而且在全部13个回归数据集上都跑赢了原版TabFM，理论上还能进一步优化的空间已经被压缩到几乎为零。

为什么回归任务上的提升更猛？论文给出的解释是，回归任务里那些物理比率和偏态目标的处理，让TabFM能够更平滑地插值出连续函数，而这恰恰是树模型的弱项，树模型只能用一段段阶梯式的切分去逼近一条平滑曲线。

这里有个细节值得多说两句。研究者专门找了两个图揭示不同数据集上智能体的行为差异。在一个叫airfoil_self_noise（机翼自噪声）的工程数据集上，两个不同的语言模型不约而同地从列名"frequency"（频率）、"chord-length"（弦长）、"attack-angle"（攻角）里推导出了斯特劳哈尔数这个专业空气动力学参数，直接把RMSE误差从1.073降到0.888。而在一个叫Amazon_employee_access（亚马逊员工权限申请）的数据集上，列名全是匿名的角色代码，智能体没法编公式，转而去构建关系图特征，统计每个实体出现的频率、两两组合的共现次数、二部图节点度数，硬是把误差从0.1416降到0.1063。

这两个例子放在一起看特别有意思：同一套系统，遇到能看懂含义的列名就去当物理学家，遇到看不懂的匿名列就去当统计学家，这种"因材施教"式的策略切换完全是智能体自己摸索出来的，没有人预先写死规则。

再说一个更朴素的例子，一个叫website_phishing（网站钓鱼识别）的数据集，智能体压根没动特征工程，只调整了上下文采样和输出校准这两个环节，把训练数据的自然分布和一个对少数类过采样两倍的版本合并起来预测，再把预测概率往训练集真实的类别比例上拉一拉，日志损失就从0.2104降到了0.2024。这说明并不是每次都需要复杂的特征工程，有时候光是校准输出概率这种"轻量级"操作就足够了。

这种因数据而异的策略选择，让人联想到一个老中医看病。同样一堆症状描述给不同的病人，有的对症下药是开一副复方，有的可能只需要调整一下作息就够了。不是所有病都要下猛药，关键是先判断病灶在哪，这一点智能体做得还挺像样。

迁移测试：这套方法不只对TabFM有效

一个自然的疑问随之而来：智能体是根据TabFM的表现打分来筛选方案的，那这些方案会不会只是TabFM的"专属外挂"，换一个模型就失灵了？

研究者做了个挺硬核的验证。他们拿Claude Code配Opus 5这套配置找到的最终方案，原封不动地套在另外三个冻结的表格基础模型上，包括TabPFN-3、TabICLv2、EXAONE-Tabular，完全不做二次搜索。

结果显示，这些方案让TabICLv2提升了143.3分，TabPFN-3提升了130.8分，EXAONE-Tabular提升了88.7分。虽然提升幅度都不如TabFM自己（毕竟方案是照着TabFM的口味调出来的），但每个模型都实打实地变强了。

这说明智能体发掘出来的那些规律，比如物理公式怎么写、缺失值怎么处理、类别不平衡怎么采样，很大程度上是数据本身的性质决定的，不是针对某个特定模型的"作弊代码"。这就好比一份写得好的菜谱，虽然是照着某个厨师的手艺调出来的，但换一个厨师照着做，出来的菜大概率也不会太差，因为食材本身的搭配逻辑是共通的。

在MLE-Bench的真实赛场上正面硬刚

TabArena毕竟是个学术基准，论文还在MLE-Bench-Tabular上做了更接地气的测试，这是从8个真实Kaggle竞赛里抽出来的表格任务。

MLE-Bench：一个专门评测机器学习工程智能体能力的基准测试集，包含大量真实Kaggle竞赛任务，用来考察AI系统能不能像人类数据科学家一样独立完成建模流程。

这几个竞赛的难点在于，很多信号根本不在主表格里，而是藏在辅助文件中，比如地震波形、卫星遥测数据、三维分子坐标。TabFM-Auto在特征工程环节直接把这些辅助文件的信息提炼成表格特征再拼接进主表。

举个具体例子，predict-volcanic-eruptions（火山喷发预测）这个竞赛，主表格里只有编号和目标值，真正的地震传感器读数存在成千上万个外部CSV文件里，每个文件记录着十个通道、每秒100次采样、持续10分钟的波形。TabFM-Auto的第一个尝试直接失败了，因为初始管道根本没有特征可用。智能体检查报错信息后，先写了个粗糙的统计摘要脚本，验证误差高达数十万。之后不断打磨，加入了多频段快速傅里叶变换能量、STA/LTA触发比率（一种地震学里常用的信号突变检测指标）、滚动峰峰值包络、多传感器互相关，最终把官方测试误差压到9.7万左右，比当时表现最好的外部智能体低了9.4倍，拿到了金牌级别的成绩。

另一个例子是champs-scalar-coupling（量子化学耦合常数预测），需要把原子对表格和三维分子坐标文件关联起来。没有三维几何信息时TabFM的对数误差是+1.19，加入了原子间距离、键角、四原子二面角（用来算Karplus关系式，这是核磁共振领域一个经典的物理公式）之后，误差降到了负1.5左右。

在这8个竞赛的整体Elo排名里，TabFM-Auto的两套配置分别拿下第一和第二名，其中Claude Code配Opus 5那套配置以1827分排名第一，对阵所有12个外部智能体的胜率高达86.7%，对阵排名前五的对手也能拿到75%到88%的胜率。

这个结果的分量在于，这些外部智能体是可以自由搜索模型架构的，理论上搜索空间更大、灵活性更高，但TabFM-Auto用一个冻结不动的模型加上聪明的数据管道，照样把它们比下去了。这有点像一场厨艺比拼，对手可以随意换锅换灶台，你只用一口固定的锅，但把食材处理得更极致，最后端出来的菜反而更好吃。

搜索过程会不会过拟合验证集？

这是个绕不开的问题。既然智能体反复用三折交叉验证的分数来指导搜索，会不会出现"验证集分数越刷越高，测试集表现却纹丝不动甚至变差"的情况？

研究者专门做了细致的追踪，保存了搜索过程中每个中间检查点，在固定的搜索进度百分比节点上，同时评估验证集分数和官方测试集分数。结果显示两者是同步上涨的。以Opus 5配置为例，从起点到搜索预算用尽，官方测试误差平均下降了4.0%，Gemini 3.8 Flash配置下降了4.7%，而且早在搜索进度只完成2.5%的时候（大约做了3次评估），两套配置就已经超越了此前的TabFM+基线。

更细致地看，研究者把整个搜索过程切成四个阶段各占25%，逐段比较验证集提升幅度和测试集提升幅度的相关性，发现绝大多数情况下两者方向一致，验证集变好、测试集也跟着变好。唯一出现分歧的是Gemini 3.8 Flash配置的中间某一阶段，测试集表现有涨有跌大致各占一半，但即便如此，到了搜索的最后阶段，两者的正相关关系又重新恢复了。

这个发现说明，冻结模型加交叉验证这套组合拳确实起到了防止过拟合的作用。原因也不难理解，因为整个搜索过程中唯一在变化的是数据管道这个相对简单的符号化程序，不涉及任何需要拟合大量参数的模型训练，噪声来源被大幅压缩了。

局限与延伸

这套方法也不是万能的。论文坦诚地指出了两个局限。

第一，在那些列名完全匿名化的数据集上，收益明显更小，因为语言模型没法从"f_01"这种列名里读出任何语义，只能退而求其次去做统计和关系特征。第二，管道搜索需要针对每个数据集反复跑验证评估，虽然比传统模型训练快很多，但终究不是零成本，论文里提到跑一次51个数据集的完整搜索，LLM API费用大约1.76万美元。

论文也提出了几个值得探索的延伸方向。既然发现的管道大多是简短易读的Python程序，未来是不是可以把这些跨数据集积累下来的操作沉淀成一个可复用的代码库，让新数据集的搜索能站在过去经验的肩膀上，用更少的评估次数启动。还有一个更大胆的设想，是把这些搜索出来的公式、清洗规则、目标变换、关系特征反过来喂回模型预训练阶段，让表格基础模型天生就具备一定的模式意识。

写在后面

读这篇论文的过程中，最让我意外的其实不是最终的分数提升有多高，而是那张展示"何时用物理公式、何时用统计特征"的对比图。它暴露出一个挺有意思的事实：语言模型智能体在面对结构化数据时，其实是在做一种"翻译判断"，判断眼前这批列名到底是可以直译成人类知识的自然语言，还是只能靠数学手段硬啃的加密文本。这种判断本身没有被显式训练过，完全是大语言模型预训练阶段积累的常识在起作用。

另一个值得琢磨的地方是那组对照实验的数字，冻结模型加管道搜索比完全自由的模型训练要好整整510分，而其中TabFM预训练本身贡献了316.5分。这其实是在提醒我们，当下很多"更聪明的AI智能体"叙事里，可能被低估的恰恰是那个被冻结不动的基础模型的价值。智能体的聪明才智固然重要，但如果没有一个足够强的先验知识底座，智能体再怎么折腾也是在一个更差的起点上打转。

论文最后提到的那个设想，把搜索出来的知识反哺回预训练，让我想起了一个循环：语言模型帮表格模型看懂了列名，未来表格模型是不是也能反过来把这些经验内化成自己的直觉，不再需要每次都靠外部智能体现场发明公式？如果这条路走通了，或许有一天，表格基础模型不再是那个"色盲加失语症的统计学天才"，而是真正读得懂它面前那张表格在讲什么故事的伙伴。

Q&A

Q1：TabFM-Auto是什么？

A：TabFM-Auto是谷歌研究团队提出的系统，它把一个冻结不动的表格基础模型TabFM和一个会写代码的语言模型智能体结合起来，让智能体专门负责改造数据清洗、特征工程、上下文采样和输出校准这四个环节，从而提升TabFM在具体数据集上的预测准确率，而不需要重新训练模型本身。

Q2：TabFM-Auto在TabArena基准上表现怎么样？

A：在包含51个数据集的TabArena基准测试中，五套TabFM-Auto配置包揽了总排行榜前五名，最强配置把TabFM的Elo评分从1785分提升到2013分，超过了4小时调参的AutoGluon等主流自动机器学习方法。

Q3：TabFM-Auto找到的数据管道能不能用在其他模型上？

A：可以。研究者把针对TabFM搜索出来的最终方案，不做任何二次搜索地套用到TabPFN-3、TabICLv2、EXAONE-Tabular这几个其他表格基础模型上，结果这些模型的Elo评分也都获得了69到143分不等的提升，说明发掘出的规律具有一定通用性。