四个DAPO提示词能打平三千八百四十个DeepMath提示词：论文揭示的那些反直觉结论

你有没有想过，训练一个AI模型需要多少道题才够。

直觉上答案很简单，题越多越好。这就像你准备高考，刷的题越多，分数应该越高,对吧。但腾讯混元团队和南京大学的研究者们做了一系列实验之后发现,这个直觉在很多场景下是错的,而且错得很有意思。

他们发现,只用四道数学题训练出来的模型,和用三千八百四十道题训练出来的模型,在数学测试上拿到了一模一样的分数,32.55分。数据量差了整整九百六十倍,结果却没有差别。

这篇论文的名字叫《超越提示词数量:数据如何塑造在线策略蒸馏中的迁移效果》,研究的是一种叫做在线策略蒸馏的AI训练方法。如果你对AI训练不太了解,别担心,这篇文章会把这些概念一点点拆开讲清楚。

核心问题:老师教学生,到底需要几道例题

在线策略蒸馏*：一种让小模型（学生）向大模型（老师）学习的训练方法。和传统蒸馏不同的是，学生先自己尝试做题、生成答案，老师再针对学生写出的每一步给出反馈，而不是直接把标准答案甩给学生抄。

这就好比传统的填鸭式教学,老师把标准答案写在黑板上,学生照抄。而在线策略蒸馏更像一对一辅导,学生先自己做一遍题,老师看着学生的解题过程,在每一步给出修正意见。这种方式理论上更有效,因为反馈是针对学生自己的思路展开的,而不是一套放之四海而皆准的模板。

但问题来了,既然是学生自己做题,那应该给学生准备多少道例题去练习呢。十道,一百道,还是一万道?

在这篇论文之前,大部分研究默认的答案是:多多益善。但研究团队发现,这个假设从来没有被系统验证过。于是他们做了一件简单又彻底的事情,固定其他所有条件,只改变训练用的提示词(也就是题目)数量和来源,看看模型最终表现会怎么变化。

结果出乎意料。在一个叫Qwen3-4B的数学模型训练实验里,只用一道题训练出来的模型,数学测试分数是44.74分,而用三千八百四十道题训练出来的模型,分数是46.77分。差距不到两分。

这就引出了论文标题里的那个关键词:提示词数量。研究者想告诉我们的第一件事是,在在线策略蒸馏这件事上,数据量可能被严重高估了。

但紧接着,更让人意外的发现出现了。

提示词数量够用,不代表提示词可以随便换

如果说"少量数据也能训练好模型"是这篇论文的第一层发现,那么第二层发现才是真正颠覆直觉的部分:同样是少量提示词,换一道题,结果可能天差地别。

论文里有一个特别生动的例子。研究者用一个经过代码训练的大模型(代码老师)去教一个小模型,只给小模型准备一道编程题练习。结果三道看起来差不多难度的编程题,训练出来的模型表现分别是50.03分、60.41分、60.55分。同样是一道题训练,分差接近十分。

这就像请家教。你以为只要请了家教,孩子成绩就会提高,但实际上,家教教哪道题、怎么教,效果可能天差地别。有的家教挑的例题让孩子豁然开朗,有的例题却让孩子更加困惑,甚至成绩不升反降。如果不去对比不同例题的效果,你根本不知道自己请到的是哪一种家教、用了哪种教材。

这就是论文反复强调的一个核心区分:提示词的"充分性"(够不够用)和提示词的"可互换性"(能不能随便替换)是两回事。少量提示词可以训练出好模型,这不代表任意一个少量提示词组合都能训练出好模型。

更有意思的是,研究者还发现了一个叫"提示词效用是相对的,不是绝对的"的现象。

同一道题,换个老师,效果可能反转

论文里做了一个特别巧妙的对照实验。

研究团队准备了两位老师,一位是专攻数学的老师(经过数学强化学习训练),一位是专攻代码的老师(经过代码强化学习训练)。然后准备了两套练习题,一套数学题,一套代码题。让同一个起点的学生模型,分别跟着两位老师、用两套题组合学习。

GRPO*：一种强化学习训练算法，常用来让模型在没有人类标注答案的情况下，通过不断尝试和获得奖励信号来提升能力。论文里的"Math-RL"和"Code-RL"老师，就是用GRPO分别在数学和代码任务上训练出来的。

按照常理,数学题应该对提升数学能力更有效,这应该是放之四海而皆准的规律。但实验结果显示,跟着数学老师学习时,数学题确实比代码题效果好,数学分数46.51对30.89分。可是换成代码老师之后,情况完全反转了,代码题反而比数学题效果更好,34.06对24.84分。

同一个学生,同一批题目,只换了一个老师,哪套题目"更好用"的排名就直接颠倒了。研究者把这个实验在五种不同的随机种子配置下重复验证,结果每一次都稳定出现这种反转,差距在13到14个百分点之间。

这说明什么。这说明提示词的价值不是写在题目本身上的一个固定属性,而是取决于"谁在教、教给谁、教什么能力"这三者的组合关系。同一份教材,换个老师带班,学生学到的东西可能完全不一样。这有点像同一本武功秘籍,落在不同门派的掌门人手里,教出来的徒弟风格可能截然不同,因为老师自己的功底和侧重点影响了教学效果。

这个发现直接动摇了一种常见的数据构建思路:先验地认为某个数据源天生就是"高质量"或者"低质量"的。论文用实验证明,质量这个词如果脱离了"教师是谁、学生是谁、要学什么能力"这个具体情境,其实是没有意义的。

教学功夫下在哪,学生的"内心变化"却可能完全不同

接下来论文做了一件更深入的事情,它不满足于只看最终考试分数,而是去扒开模型内部,看看训练过程中到底发生了什么变化。

研究者引入了两种诊断手段,一个叫参数对齐,一个叫功能对齐。

参数对齐与功能对齐*：参数对齐衡量的是模型内部权重数值变化的方向，是不是和老师训练时权重变化的方向一致。功能对齐衡量的是模型在同样输入下，输出的预测概率变化，是不是和老师的变化方向一致。前者看"内部齿轮怎么转"，后者看"最终表现像不像"。

这两个指标理论上应该是正相关的,如果一个学生的内心想法(参数)和老师越来越像,那他表现出来的行为(功能)自然也应该越来越像老师。但论文发现了一个让人意外的现象:在某些情况下,参数对齐很低,功能对齐却可以很高。

具体数字是,研究者对比了七个不同的老师家族、四十三个训练检查点,发现参数对齐的中位数只有0.069,而功能对齐的中位数高达0.859。这两个数字差了十几倍。

这就像两个人,内心想法完全不同,行为举止上却表现得极为相似。打个比方,一个刻苦自学的学生和一个天赋异禀的学生,他们大脑里神经元激活的具体模式可能完全不一样,但最后做出来的卷子答案却高度相似。如果你只看卷子分数,会觉得这两个学生"学得一样好",但如果你能看到他们大脑内部的运作过程,会发现两条完全不同的路径,却通向了相似的终点。

这个发现的实际意义很大。它说明,想要训练出和老师表现一致的学生,不一定非要让学生的参数更新路径去模仿老师的参数更新路径。条条大路通罗马,模型可以用完全不同的"内部逻辑"达到相似的外部表现。

训练"翻车"了怎么办:坏结果是可以被修复的

既然不同的提示词组合可能带来截然不同甚至是负面的训练结果,那一个自然的问题是,如果训练效果不好,还有没有救。

论文给出的答案是肯定的,而且提供了两种修复方法。

第一种方法比较"硬核",直接在模型内部动手术。研究者发现,一个训练效果不好的模型(论文称为"退化模型")和一个训练效果好的模型,虽然最终表现差异很大,但它们在某些神经网络层的内部表示结构其实很相似。于是研究者尝试了一个有点大胆的操作,在模型生成每个字的过程中,把表现差的模型某一层的内部状态,直接替换成表现好的模型对应层的内部状态。

结果在一个二十道题的测试样本里,这种替换让退化模型的准确率从18.75%提升到24.38%。反过来操作,把好模型的内部状态换成坏模型的,准确率则从28.13%掉到21.25%。

这个实验有点像心脏移植手术。你把一个运转不良的心脏,换成一个运转良好的心脏的某个局部结构,整个身体的某些功能指标确实会改善,虽然这并不意味着两个身体从此变得完全一样。这说明模型内部的某些特定"器官"(神经网络层)对最终表现起着举足轻重的作用,干预这些局部结构,可以实实在在地改变整体行为。

第二种方法更"温和",就是继续训练,换一批有效的练习题接着学。

论文发现,一个在代码训练上翻车的模型(分数从53.30掉到50.03),只要换上一套有效的四十八道题练习继续训练,最终能把分数拉到63.16,甚至超过了最初没训练过的学生模型。这说明训练翻车不是死局,后续用对题目可以力挽狂澜。

更有意思的是一个对照实验。研究者设计了四条训练路径:一开始都用两种题库(GSM8K和DeepMath)训练十五步,然后再各自分支,继续用这两种题库中的一种再训练十五步,总共形成四条路径。结果显示,不管第一阶段用的是哪种题库,只要第二阶段换成效果更好的DeepMath题库,最终成绩都能恢复到接近五十一分,而继续用效果较差的GSM8K题库,分数只能停留在四十四到四十六分之间。

这说明什么。这说明"翻车的历史"并不会一直拖累模型的未来表现,只要后续训练方向选对了,模型是可以"改过自新"的,而且这种改正不需要让模型的参数变化路径和一开始就训练正确的模型完全一致。论文用功能对齐和参数对齐两个指标验证了这一点,修复后的模型和"一直很优秀"的原生模型相比,功能对齐从0.474飙升到0.957(代码任务)或者从0.687升到0.938(数学任务),但参数对齐只是小幅提升,从0.123到0.156,或者从0.086到0.374。

这再次印证了前面的发现:外在表现趋同,不代表内在路径趋同。模型的恢复更像是康复训练,肌肉记忆重新养成了,但具体是哪一块神经组织负责这个记忆,路径可能和最初完全不同。

精挑细选的题库,打不过随手一抓的随机抽样

这篇论文最后一个让人意外的发现,是关于"怎么挑选提示词"这件事本身的。

既然提示词的效果这么重要,一个自然的想法是,我们应该精心设计一套挑选算法,去找出"最有价值"的那批题目,而不是随便乱抽。

研究团队确实设计了好几种挑选策略,包括按照题目的语义多样性挑选、按照题目难度挑选、按照题目长短挑选、按照老师和学生在这道题上的分歧程度挑选,甚至还设计了一种基于梯度信息的复杂挑选算法(论文里叫Cost-D-opt)。

D-opt*：一种基于统计学中"实验设计"理论的挑选方法，核心思路是挑选那些能让模型获得尽量不重复、信息量尽量丰富的训练梯度方向的题目，同时考虑筛选时需要付出的计算成本。

结果呢。在八道题和四十八道题两种规模的对比实验里,最简单的均匀随机抽样,反而拿到了四项任务平均分的最高分,37.65和37.63。而那些设计精巧、需要先花费大量GPU算力去筛选的复杂方法,反而没能稳定超过随机抽样。

研究者甚至算了一笔账,均匀随机抽样的筛选成本是0个GPU小时,而那个基于梯度信息的复杂方法Cost-D-opt,光是筛选阶段就要花费四十七点七个GPU小时,结果却没有明显更好。

这就像装修房子请设计师。你以为花大价钱请一个资深设计师,精心计算每一件家具的摆放角度,一定比随便摆放效果好。但实验告诉你,很多时候闭着眼睛随手一摆,整体效果和精心设计的方案几乎没有差别,而设计费却花了大几万。如果设计师的"精心计算"本身并不能准确捕捉到真正影响居住体验的关键因素,那这笔设计费就白花了。

论文还做了一个特别有意思的延伸实验,专门测试"把表现差的数据源直接踢出训练池子"这个常见做法是否有效。

研究者准备了一个混合题库,里面包含DeepMath、DAPO和GSM8K三种来源的题目。其中GSM8K单独拿出来训练时表现一直不太好。那是不是应该把它从混合题库里剔除呢。实验结果是,剔除了GSM8K之后,三次重复实验里,数学分数和跨领域分数有的升有的降,平均下来和不剔除几乎没有差别,差距在正负一个百分点以内波动。

更深入的一个对照实验揭示了背后的原因。研究者把一个四十八道题的混合题库里,逐步把GSM8K题目替换成DeepMath题目,从零道换成四道、十六道、四十八道。数学分数从33.87一路涨到42.81,看起来像是DeepMath和GSM8K"互补",混在一起效果最好。但当研究者单独只用那四道DeepMath题目去训练时,发现分数已经达到了40.02,几乎和换入十六道的效果相当,这说明分数的提升主要是因为DeepMath题目本身起作用,而不是GSM8K和DeepMath两种题目产生了什么"化学反应"式的互补效果。

这个发现提醒我们,一个数据源单独表现差,不代表它在混合使用时就一定是拖累,也不能简单地认为"换进去的好数据"和"原来的数据"发生了什么神奇的协同。表面上看起来有道理的推论,在严格的对照实验面前经常站不住脚。

写在后面

读完这篇论文,我最大的触动是那个四道题打平三千八百四十道题的例子。它打破的不是"少数据也能训练模型"这个相对容易接受的认知,而是更深一层的东西,我们对"数据价值"这件事的衡量标准,可能从一开始就问错了问题。

我们总习惯问"这批数据好不好",但这篇论文告诉你,这个问题本身可能没有一个独立于情境的答案。好不好取决于谁在教、教给谁、想教会什么能力,这三个变量任意换一个,答案都可能完全不同。这让我想起教育学里一个类似的争议,所谓的"因材施教",说起来容易,但真正做起来,你需要先承认根本没有一份放之四海而皆准的"好教材",只有在具体师生关系里才成立的"好教材"。

还有一个细节让我印象很深,就是参数对齐很低但功能对齐很高的那组数据。这意味着我们可能一直在用错误的方式去理解"模型学会了什么"。如果只盯着模型内部权重怎么变化,可能会得出"这次训练失败了"的错误结论,但模型的实际表现却可能已经和理想状态非常接近。这提醒我,评估一件事情的效果,有时候"黑箱测试"比"开箱检查"更可靠,因为开箱看到的细节,未必是真正决定最终结果的那部分。

这篇论文也留了一些没讲完的问题。它反复强调提示词选择应该"适配教师、学生和目标能力",但具体怎么适配,论文里并没有给出一个可操作的通用公式,这大概也是留给后续研究的空间。

如果训练一个AI模型需要的不是题海战术,而是找准那四道、甚至一道真正对的题,那我们对"努力"这件事的理解,是不是也该重新想一想。

Q&A

Q1：在线策略蒸馏需要准备成千上万道训练题目吗?

A：不一定。论文发现四道DAPO数学题训练出的模型,和三千八百四十道DeepMath题目训练出的模型,数学测试分数完全一样,都是32.55分,提示词数量相差九百六十倍却没有差别。

Q2：既然少量提示词就够用,那随便挑几道题训练效果都差不多吗?

A：不是的。论文发现提示词效果高度依赖具体题目和教师学生组合,同样是一道编程题,不同题目训练出的模型分数能相差十个百分点,换个教师模型甚至会让数学题和代码题谁更有效的排名直接反转。

Q3：想要挑选最优质的训练题目,是不是需要用复杂算法精心筛选?

A：实验结果显示未必如此。论文测试了语义多样性、难度筛选、梯度信息等多种复杂挑选方法,结果发现最简单的均匀随机抽样反而在多项对比里拿到最高的综合分数,而且几乎不需要额外的筛选计算成本。