AI会做题，但它真的懂题吗？

有一道拓扑学的经典问题：马克杯和甜甜圈是同胚的吗？

一个训练有素的大模型，大概率能给出正确答案，甚至能写出一套严谨的证明过程：构造一个映射，验证它是双射，再验证它和它的逆映射都连续。步骤工整，逻辑自洽，最后得出结论：是的，它们同胚。

但这里有个问题。

模型知道**为什么**马克杯和甜甜圈同胚吗？

它知道的，仅仅是因为两者都只有一个洞，都是"亏格为1"的曲面，所以可以通过连续变形互相转化。这句话,才是整个证明真正的灵魂。没有它,后面那套"构造映射、验证双射、验证连续"的流程就是空中楼阁,你换一道长得类似但本质不同的题,模型大概率就卡住了。

这就是德州农工大学、哈佛大学等机构的研究者们在一篇新论文里追问的核心问题:大模型做对题,到底是因为它理解了数学结构,还是只是把一套套固定的解题程序执行得足够熟练?

这个问题听起来有点抽象,但它的答案,直接关系到我们该怎么训练下一代更聪明的AI。

解题正确,不代表真的懂

先说一个可能颠覆你认知的事实:两个解题正确率差不多的模型,它们对数学问题的"理解深度"可能天差地别。

研究者测试了Qwen3.6-27B和gpt-5.4-mini这两个模型,在直接解题的准确率上,它们表现相近。但如果单独考察"能否在看到题目的瞬间就抓住问题的核心结构",两者的差距超过30个百分点。

这就好比两个学生考试都考了85分。一个学生是真正理解了定理背后的几何直觉,另一个纯粹是刷题刷到肌肉记忆,看到某种题型就自动套用某个固定套路。两人分数一样,但如果换一道没见过的新题型,表现可能立刻分道扬镳。

为了把这种差异量化出来,研究者提出了一个关键概念。

数学原语（Mathematical Primitive）：一道数学题之所以能被解开,背后总有一个简洁的、不依赖具体计算的核心洞察,比如一个不变量、一个定理的适用条件、一种巧妙的问题转化方式。这个洞察就是数学原语,它解释的是"为什么这道题能被解开",而不是"怎么一步步把它解开"。

打个比方,如果把解题过程比作一次探案,原语就是那个让侦探突然顿悟的关键线索,比如"凶手是左撇子"。而后面所有的推理步骤,不过是把这个线索转化成完整证据链的过程。没有那个顿悟,再多的勘查笔录也拼不出真相。

基于这个概念,研究者构建了一个叫**PRIM**的评测基准,从四个维度拆解大模型的数学能力。

把"懂不懂"拆成四块来看

PRIM这个基准,脱胎于知名的"人类最后考试"（Humanity's Last Exam, HLE）数据集,经过三位具有数学研究生背景的专家严格审核,最终保留了182道高质量的数学题。每道题都配有人工标注的"黄金原语",作为评判标准。

评测的四个维度分别是:

发现（Discovery）：模型只看到题目,能不能自己找出那个核心原语?这考察的是"从零开始的洞察力"。

生成（Generation）：模型直接解题,能不能得出正确答案?这就是我们平时说的"解题准确率"。

消化（Digestion）：给模型看一份完整正确的解答,让它反推出背后的原语。这考察的是"事后复盘的理解力"。

执行（Execution）：直接把正确的原语告诉模型,看它能不能据此把题目解出来。这考察的是"拿到钥匙后能不能开锁"。

这四个维度放在一起,就像是给每个模型做了一次全方位的CT扫描,而不只是量一下体温。

第一个发现:原语是一把能打开隐藏房间的钥匙

研究者做了一件挺有意思的事:把正确的原语直接喂给模型,看它的解题表现会发生什么变化。

结果相当惊人。12个被测试的模型,只要给了正确原语,解题准确率全部提升17.58到29.67个百分点。更让人意外的是,像Qwen这类在"独立发现原语"上表现很弱的模型,一旦拿到原语,它们的解题能力居然能追上实力强劲的gpt-5.4系列。

这说明了什么?

说明很多模型并不是真的不会做题,而是它们压根没找到那把钥匙。 它们的执行能力其实深藏在系统内部,只是平时被"找不到突破口"这个瓶颈死死卡住,根本释放不出来。

这就像一个修车技术很娴熟的老师傅,面对一辆引擎盖打不开的车束手无策。不是他不会修,是他压根不知道故障点在哪儿。你告诉他"问题出在第三缸的火花塞",他立刻就能动手修好。

但研究者还不满足于此。他们想知道:这种"被拯救"的效果,是不是仅仅因为把任务拆成了"先找思路再执行"两步,随便给点提示都能起作用?

于是他们设计了一组对照实验,比较四种不同的引导方式:让模型用自己生成的原语来辅助自己,用老师模型(gpt-5.4)生成的解题步骤大纲,用老师模型生成的原语,以及用人工标注的黄金原语。

结果显示,自己给自己提示几乎没用,甚至还会拖后腿:对Qwen3.6-27B来说,自产自销的原语反而让准确率下降了11.54个百分点。普通的解题步骤大纲确实能带来一些提升,但幅度有限。而原语带来的提升明显更大,黄金原语更是把Qwen3.6-27B的准确率从52.75%直接推到78.57%。

这组对比干净利落地证明了一件事:原语和普通的解题提纲,不是一回事。 它提供的不是"怎么做",而是"为什么能做",后者的信息密度和含金量要高得多。

第二个发现:发现能力,才是真正的卡脖子环节

如果说第一个发现告诉我们"原语很重要",那第二个发现就在追问一个更尖锐的问题:为什么模型自己找不到这个原语?

研究者把所有的解题失败案例按"发现"和"执行"两个维度交叉分类,结果触目惊心:83.6%的失败案例,都属于"发现失败"这一类。 也就是说,绝大多数的错题,根源不在于计算能力不行,而在于模型从一开始就没找对方向。

更有意思的是消化维度的对比。模型在"看完解答反推原语"这件事上,表现远远好于"独立发现原语"。比如Qwen3.6-27B在独立发现原语时只有24.73%的准确率,但一旦给它看完整的解答,它反推原语的准确率能飙升到92.31%。R1-Distill-32B更夸张,从6.04%直接跳到65.38%。

这说明模型其实有能力识别出"这个原语是对的",它缺的是在空白试卷面前,自己把这个原语创造出来的能力。 这就像让一个人判断一道菜好不好吃,他可能一尝就知道;但让他凭空设计出这道菜的配方和火候,难度完全不是一个量级。

知识迁移力弱和知识识别力强之间的这种落差,正是大模型数学推理中最隐蔽、也最关键的短板。

哪些错题值得花力气去补?

发现了问题所在,下一步自然是想办法解决。研究者接着问了一个很实际的问题:这些"发现失败"的错题,能不能通过后续训练(post-training)修复?

他们找来709道1991到2026年间的数学博士资格考试题目,每道都配有人工撰写的证明过程,用来对Qwen3.5系列的27B、9B、4B三个规模的模型做训练实验。对比的方法包括常规的监督微调（SFT, Supervised Fine-Tuning, 用标准答案直接教模型模仿）,和一种叫作"在策略自蒸馏"（OPSD, On-Policy Self-Distillation）的方法。

OPSD的思路有点巧妙:让学生模型自己生成答案,但同时有一个"老师模型"(其实和学生是同一个底层模型,只是老师额外看到了参考答案)在旁边,根据学生自己写出的每一步内容给出纠正信号。换句话说,老师不是让学生抄作业,而是在学生自己答题的过程中实时点拨。

实验结果验证了研究者的直觉:发现失败型的错题,修复成功率明显高于能力缺陷型的错题。 SFT和OPSD对"发现失败但执行没问题"这类错题的修复率分别是20.4%和21.1%,是对"发现和执行都有问题"这类错题修复率(6.8%和8.2%)的近三倍。

这个结果进一步印证了之前的发现:很多模型只是缺了临门一脚的洞察力,这类问题经过针对性训练,相对容易补上。

但这里也出现了一个棘手的副作用:虽然修复率不低,但整体的净提升却很有限。 原因是训练过程中引入了新的问题,一些原本模型能答对的题目,训练之后反而答错了。这种现象被称为"训练漂移"(post-training drift),简单说就是,你修好了一些坏掉的零件,却不小心弄坏了另一些原本好好的零件。

ABSORB:让老师的指导有分寸地渗透进来

针对这个"修复了旧问题又产生新问题"的两难局面,研究者提出了他们的核心方案:**ABSORB**。

这个名字本身就很贴切,"吸收"。它的设计思路是让模型在训练过程中吸收原语携带的结构性知识,但不强行要求它在实际使用时必须显式地说出这个原语。

ABSORB的设计建立在两条原则之上。

第一条原则很直白:把原语当作只有老师模型才能看到的"特权信息"(privileged information),而不是让学生模型去学着生成原语本身。

研究者做过对比实验,发现如果直接把"生成原语"设为训练目标,效果反而很差,9B模型的发现得分从13.19掉到2.75,几乎腰斩。这说明把"结构性理解"硬塞成一个显式的预测任务,和真正把这种理解内化到解题过程中,完全是两码事。 教一个人"说出"游泳的原理,和教他真正"学会"游泳,根本不是同一件事。

第二条原则是"有界覆盖"(Bounded Override)。研究者观察到,如果老师模型的指导力度不加约束,反而会出问题:老师掌握着原语这种"特权信息",它和学生在某些节点上产生的分歧可能特别大,如果不加限制地强行纠正学生,反而会把学生原本就形成的、有价值的思考路径硬生生打乱。

ABSORB的解决办法是:当老师的判断比学生更好时,这种正向的引导要全盘保留,因为这正是原语带来的增量价值;但当老师对学生某个选择表现出强烈的压制时,这种压制力要被设置一个上限,因为这种强烈分歧很可能来自老师独享的特权信息,而不是学生能独立识别出的明显错误。

这个设计背后有一个很现实的考量。 想象一位经验丰富的导师在带一个刚入门的学生做实验。如果导师发现一个明显更优的操作方式,他应该毫不犹豫地直接告诉学生,"这样做更好"。但如果学生选择的某条路径,只是因为导师掌握着学生暂时还不了解的高阶知识才显得"错",那导师就不该用权威直接否定学生,而应该留出空间,让学生自己在后续的尝试中慢慢领悟。如果不这样做,学生会养成一种依赖,遇到和导师指导场景稍有不同的题目,立刻就会手足无措,因为他学到的不是思考方式,而是对导师答案的生硬模仿。

具体到技术实现上,这个有界约束是通过反向KL散度加上单边截断来完成的,保留教师正向引导的同时,限制它对学生已有偏好的过度压制。

ABSORB交出的成绩单

那么ABSORB实际效果到底如何?研究者在Qwen3.5的三个规模(4B、9B、27B)上,对比了SFT、OPSD和ABSORB三种方法,并在四个不同的数学基准上做了综合评测,包括PRIM本身、HLE数学子集、HMMT25竞赛题,以及Omni-MATH。

数据相当有说服力。在9B这个规模上,SFT和OPSD反而让解题准确率分别下降了6.04和4.95个百分点,27B规模下OPSD也掉了3.30个百分点。这正是前面提到的"训练漂移"在起作用。

而ABSORB在所有三个规模上都实现了正向提升,9B规模提升了5.49个百分点,四个基准的平均分提升了3.73个百分点。27B规模的平均分提升了2.42个百分点,4B规模更是提升了4.48个百分点。

更值得玩味的是提升的位置。在9B规模上,解题准确率提升了5.49分,但"独立发现原语"的能力只提升了1.10分;27B规模上,解题提升1.10分的同时,发现能力其实还下降了0.55分。

这恰恰印证了ABSORB设计之初的目标:让原语的指导作用融入模型的解题直觉里,而不是要求模型必须能清楚地把原语说出来。 模型变聪明了,但未必能准确描述自己是怎么变聪明的,这和人类很多时候的学习过程其实是一回事。你可能骑车骑得很好,却说不清自己是怎么保持平衡的。

一点延伸的思考

这篇论文最打动我的地方,不是它提出了一个新方法,而是它提出了一种诊断问题的新视角。

过去我们评价一个模型数学能力强不强,基本就看一个数字:对了多少道题。但这篇论文告诉我们,答案对不对,掩盖了太多值得追问的信息。两个考出同样分数的模型,可能一个是真懂,一个是死记硬背套路,它们在面对真正新颖的问题时,表现可能完全不同。

这让我想到一个更大的问题:我们现在对AI能力的大部分评测,是不是都存在类似的盲区?

论文里提到的陶哲轩在2026年ICM大会上的一个观点让我印象很深,他警告说,如果我们只是一味追求数学证明在形式上的正确性,很可能会产出越来越多正确但晦涩的证明,数学理解本身却没有随之增长。这句话放在AI语境下格外刺耳,因为我们现在训练模型的方式,恰恰就是在拼命优化"答案对不对"这一个指标。

论文结尾处提了三个值得深挖的方向:把这套诊断框架搬到物理、化学这类同样讲究结构性推理的学科上;把"先找结构再执行"这种分离思路用在设计数学智能体的推理流程上;以及把数学原语和Lean这类形式化证明系统结合起来,让非形式化的结构性理解和形式化的证明生成能够对接。

这三个方向里,我最好奇的是第二个。如果一个AI智能体在解题之前,先花一部分计算资源专门去"找思路",再花另一部分资源去"执行",这种显式分工会不会比现在这种一股脑儿生成到底的方式更高效?毕竟人类数学家解题,往往也是先在草稿纸上画圈圈点点琢磨半天,找到感觉了才开始正式动笔。

Q&A

Q1：数学原语（Mathematical Primitive）是什么意思？

A：数学原语指的是一道数学题能被解开的核心概念性洞察,比如一个不变量、一个定理的适用条件或一种巧妙的问题转化方式。它简洁、非程序化,解释的是题目为什么能解,而不是具体怎么一步步解出来。

Q2：为什么大模型解题正确率高,却不代表真正理解数学？

A：研究发现,模型在"独立发现原语"上表现差异巨大,有的模型解题准确率相近但发现能力相差超过30个百分点。超过83%的解题失败案例,根源在于模型没能独立找到正确的核心思路,而不是计算或执行能力不足。

Q3：ABSORB方法解决了什么问题？

A：ABSORB通过把数学原语作为只有教师模型可见的特权信息,并用有界覆盖机制控制指导力度,避免了传统训练方法中"修复旧错题却引入新错题"的训练漂移问题。实验显示它在4B到27B多个模型规模上都带来了稳定的解题能力提升。