花了591次训练，得出的结论是：什么都没有变得更好

去年秋天，有一个团队干了一件挺"较真"的事。

他们花了几百次GPU训练，测试了市面上八种花哨的强化学习数据挑选方法，最后得出一个结论：这些方法，几乎没有一个真的比"啥也不挑，随便来"更好。

这事听起来有点反直觉。你想啊，这些年AI圈子里各种论文都在讲"精挑细选的数据比随便喂的数据效果好"，从DAPO到PODS到各种花里胡哨的名字，每一篇都说自己的方法能让模型学得更聪明。结果现在有人跑了一遍严格对照实验，发现这些方法在统计上根本站不住脚。这就好比你听说了十种"祖传偏方"都说能治感冒，结果有人认真做了双盲实验，发现它们和喝白开水的效果没有显著差别。

这篇论文的题目叫《DataFlex-RL》，来自北京大学等机构的团队。他们没有提出什么新方法，反而做了一件更朴素也更难的事：把市面上现有的方法拉到同一个跑道上，用同样的模型、同样的数据、同样的随机种子，看看谁真的跑得快。

**核心问题：为什么现在的方法比较，可能全是虚的**

要理解这篇论文在纠结什么，得先说说RLVR是怎么回事。

RLVR

：全称是"带可验证奖励的强化学习"，简单说就是让AI模型做一道题，比如做数学题或者逻辑推理题，然后用一个明确的标准判断它做对没做对，做对了就奖励，做错了就惩罚，靠这套机制让模型越练越强。

现在主流做法叫GRPO

：GRPO是DeepSeek团队提出的一种训练算法，全称"群组相对策略优化"。它的做法是让模型对同一道题生成好几个不同的答案，然后比较这些答案里谁更好，用这个"组内比较"的结果来指导模型学习，而不是单独评判每个答案的绝对好坏。

问题来了：模型对一道题生成了五个答案，全对或者全错的情况其实没什么参考价值，因为组内比较不出高低。真正有信息量的，是那种模型"半懂不懂"、五个答案里有对有错的题。这个观察催生了一大批"数据挑选"方法，有的负责筛选哪些答案该扔掉，有的负责给不同答案打不同权重，还有的负责调整不同学科（比如数学、逻辑、科学）该分配多少训练资源。

听起来都挺合理对吧？但论文作者指出一个关键漏洞：这些方法在各自的论文里报告"我比基线好",往往是在完全不同的模型、不同的训练配置、不同的评测集下测出来的。

打个比方，这就像十个厨师各自宣称自己的菜刀切菜最快，但他们用的菜不一样、案板不一样、连"切得快"的计时方式都不一样。你没法从这些各自为战的宣称里,推断出到底哪把刀是真的更好。如果不做统一测试，这些方法之间的比较其实一直都是各说各话，谁也没法真正被推翻或者证实。

论文团队做的事，就是把这十把刀放到同一块案板上，切同一批菜，用同一个秒表计时。

**主实验：13种打法，12颗种子，7.76分的门槛**

团队选择了一个叫Qwen2.5-7B-base的基础模型作为主战场。为什么选它？因为这个模型没训练过，还有很大的进步空间，这样才能看出训练方法到底有没有用。

他们设计了13种配置进行比较：一个"什么都不做"的基线（均匀随机采样），加上四种"挑选"方法、四种"加权"方法、三种"自适应比例"方法，再加一个固定比例的对照组。每种配置都跑了12个不同的随机种子，然后在12个数学、逻辑、科学类的测试题库上评分。

种子

：在机器学习实验里，"随机种子"决定了训练过程中所有随机操作的起点，比如模型参数的初始值、数据抽取的顺序等。同一个方法换一个种子，结果可能会有波动，所以只跑一次实验很容易被运气影响，跑多个种子取平均才靠谱。

先说个好消息：GRPO训练本身确实管用。用了均匀采样的GRPO训练后，模型综合得分从42.01分提升到了49.77分，涨了7.76分，而且这个提升的置信区间是[7.28, 8.25]，很稳。这说明选的这个模型和训练方法本身没问题，模型是真的在学东西。

**但坏消息是，八种"挑选加权"方法里，没有一个跑赢了均匀采样。**

论文里用了"配对95%置信区间"这个统计工具来做判断。简单理解就是：把每种方法和基线用同样的种子做对比，看看差距是不是稳定地偏向一边，还是说差距其实就是噪声，正负都有可能。

置信区间

：一种统计学工具，用来表示一个估计值的不确定范围。如果一个方法和基线的差距的置信区间包含了0，就说明这个差距在统计上没法确定是真实存在的，很可能只是随机波动导致的。

结果九个数据点（基线加八个方法）的得分只在0.97分的区间内波动，这个跨度只有GRPO本身带来提升的八分之一。换句话说，这些精心设计的挑选和加权算法，带来的差异比训练本身的噪声还要小。有一种叫difffilter的方法在三个种子的小规模测试里表现最好，结果换成十二个种子的完整测试后，另一种叫topk的方法反而掉到了基线以下。这说明前面那些只跑三个种子就宣布胜利的论文，很可能只是运气好撞上了一个偏差的结果。

这就像你去测试两款跑鞋谁更快，只让一个人穿着跑一次，结果得出"A鞋比B鞋快0.3秒"的结论。但如果换十二个人各跑一次，你会发现有的人穿A快，有的人穿B快，平均下来根本分不出胜负，那个"0.3秒"的差距不过是那一次跑步里穿鞋人状态好坏的体现，不是鞋子本身的问题。如果不做多种子重复实验，几乎所有"新方法更优"的结论都可能只是巧合被包装成了规律。

三种"自适应比例"方法（会根据训练进展动态调整数学、逻辑、科学题目的比例）情况也类似，跟固定比例（各占三分之一）的对照组相比，差距最大也就0.61分，全部的置信区间都跨过了0，没有一个能站得住。

**换个模型，结论还是一样**

有人可能会说，这只是Qwen这一个模型的特殊情况。团队想到了这一点，于是又在Llama-3.1-8B-base这个模型上重新跑了一遍，同样是12个种子的完整实验。

这次的教训更有意思。团队一开始跑出来的结果显示Llama训练后的得分只有14到16分左右，后来发现这是因为评测程序有个bug，会把某些没法处理的数学题自动打成0分，导致整体得分被人为拉低了。

这个细节值得单独说一说：如果评测工具本身有问题，那不管训练方法多先进，得出来的分数都是错的。这提醒我们，做AI实验时"结果好不好看"和"结果对不对"是两码事，很多时候后者更难保证。

修正之后重新测试，Llama在均匀训练下从10.87分涨到21.12分，涨幅10.25分，说明GRPO训练在这个模型上依然管用。而那些额外测试的方法，得分在18.66到21.98分之间波动，也没有出现哪个方法明显碾压其他方法的情况。

团队还测试了不同大小的模型，从15亿参数到140亿参数都测了一遍。结果同一个方法在不同大小的模型上表现方向完全不一致，比如difffilter在小模型上是拖后腿的，到了70亿和140亿参数规模又变成略微加分的。这种飘忽不定进一步说明，这些方法的效果本质上更接近随机噪声，而不是稳定的规律。

**评测标准一换，"冠军"就变了**

论文里还揭示了一个更让人警惕的问题：你用什么题目来考核模型，会直接决定谁是"第一名"。

团队拿同样九组训练好的模型，分别用两套不同的评测题库打分。一套叫"数学重度六题库"，包含五个数学测试加一个科学测试，完全不含逻辑推理题。另一套叫"领域均衡十二题库"，数学、逻辑、科学三个门类各占三分之一权重。

结果这两套评测标准算出来的排名，相关系数是负的0.33，也就是说两套题库选出的"最佳方法"几乎是反着来的。数学重度题库选出topk和diffband是赢家，均衡题库却认为gfpo和difffilter才是赢家。

这背后的原因其实不复杂：不同方法各有偏科。比如diffband这个方法在逻辑题上得分最高，但在科学题上得分却是最低的。如果你只用数学题去考试，根本看不出它科学题拉胯这件事。

这就像一个学生数学考99分，语文考40分。如果学校只用数学成绩来排名，这个学生是年级第一。如果换成语数英三门平均分排名，他可能连前十都进不去。评测题库覆盖不全，考出来的"第一名"根本不是真正的全面冠军，只是在被选中的那几门课上表现好而已。如果不覆盖训练时用到的所有学科（这里是数学、逻辑、科学），排行榜就是残缺的，甚至可能得出完全相反的结论。

好消息是，只要评测题库囊括了全部十二个测试项目，无论怎么调整每道题的权重（比如按题目数量平均分配权重，还是按测试集大小分配权重），排名的相关性都能到0.88，说明是权重方式不敏感，真正致命的是漏掉了整个逻辑推理这个门类。

**这个平台到底解决了什么问题**

这篇论文的价值，其实不在于告诉大家"某个方法更好"，而在于搭建了一个叫DataFlex-RL的评测平台，把所有对比放在同一套标准下。

这个平台做了三件事：把训练过程中"挑数据""调权重""换比例"这三种干预方式明确区分开来，统一使用同一套训练代码、同一套验证逻辑、同一套十二题库评测，并且在每次正式实验前都会做一次"校准测试"，检查训练格式和评测格式是不是对得上。

校准测试

：论文里提到的一种预防性检查手段，在正式跑训练之前，先用一个已知的模型检查评测程序能不能正确解析"填空式数学答案"和"选择题答案"，避免出现格式不匹配导致评分全错的情况（就是前面提到的Llama评测bug那种问题）。

他们还专门检查了训练数据和测试数据之间有没有重复或者相似度过高的题目，确认两者完全独立，没有"泄题"嫌疑。这种严谨程度，在很多急着发论文抢占先机的团队那里是很少见的。

整个实验矩阵包含591次训练运行，涵盖171次广度测试、108次种子扩展、33次机制诊断、108次主矩阵补全，还有171次跨模型规模测试。这个工作量放在任何一个实验室，都算得上是一笔不小的算力投入，而这笔投入换来的不是一个亮眼的新方法，而是一份诚实的"体检报告"。

**几个值得记住的细节**

论文附录里还藏着几个有意思的诊断实验。

团队专门测试了一种叫gfpo的方法（会保留每组回答里效率最高的那几个），发现它虽然准确率和基线几乎一模一样（72.21%对72.19%），但回答的平均长度从1568个字符缩短到了1497个字符，每一千个字符里蹭出正确答案的密度也从0.461提高到了0.482。

这说明有些方法带来的价值可能不体现在"分数变高"上，而是"用更少的话说对同样多的题"，这种效率提升在实际部署里其实也挺有用，只是很容易被单纯看分数的评测忽略掉。

还有一个诊断实验专门检验"挑选方法真的是靠信号选对了数据，还是随便挑挑效果也差不多"。结果三个方法里，有两个（maxvar和topk）确实比"随机挑同样数量的数据"表现更好，但difffilter却没有表现出这个优势。这说明就算某个方法看起来管用，也得进一步拆解它管用的原因到底是"挑得准"还是别的什么因素，不能想当然。

写在后面

读完这篇论文，我最先想到的不是"这些方法都没用"这个结论本身，而是这背后反映出的一个更普遍的现象：学术界的很多"进步"，可能建立在样本量不足和评测标准不统一的基础上。

论文里那个"三个种子选出的冠军，换成十二个种子就翻车"的细节，其实是个很扎心的提醒。现在很多AI论文迫于发表压力，实验规模能省则省，跑三五次就敢下结论。这篇论文用实打实的数据告诉我们，三个种子的差异，很可能连噪声都算不上，就是纯粹的运气。

还有一点让我印象很深，就是那个Llama评测bug。一个隐藏的格式解析错误，让本该21分的模型显示成了14分，差了整整7分，这个差距足够让一篇论文得出完全错误的结论。这提醒我，做实验时"看起来正常"和"真的正常"之间，中间可能藏着无数个没人注意到的坑。

这篇论文没有给出一个振奋人心的新突破，但它做的这件"扫雷"的工作，恰恰是这个领域现在最缺的东西。当每个人都在抢着造新武器的时候，总得有人回头看看，前面那些武器到底能不能打。

那么下一个问题是：如果这些精心设计的数据策略在均匀训练面前都占不到便宜，那真正能带来提升的，会不会根本不在"怎么选数据"这个维度上，而是藏在别的什么地方？

Q&A

Q1：DataFlex-RL是什么？

A：DataFlex-RL是一个用来公平比较强化学习数据策略效果的评测平台，由北京大学等机构团队开发，主要用于测试各种"数据挑选、加权、比例调整"方法是否真的比随机训练更好。

Q2：为什么说这篇论文的结论反直觉？

A：因为学术界之前有很多论文都宣称自己的数据挑选方法比随机采样效果更好，但这篇论文用统一标准、12个随机种子重新测试后发现，八种方法没有一个能稳定跑赢随机采样，差距基本都在统计噪声范围内。

Q3：评测题库的选择会影响结果吗？

A：会，而且影响很大。论文发现用"数学重度题库"和"领域均衡题库"测同一批模型，排名结果几乎完全相反，相关系数是负的0.33，说明漏掉逻辑推理这类题目会直接改变谁是"最佳方法"的结论。