
你有没有想过这样一件事:一个模型如果可以自己出题,自己做题,然后根据做题结果不断改进自己,它会不会越改越聪明?
这听起来像科幻电影里的剧情,但在2026年,这已经是好几个真实存在的研究方向了,名字也挺拉风,叫"自我进化"。R-Zero、Agent0、Skill Self-Play,这些系统的核心思路都差不多:模型自己当老师,出一批它觉得"刚好有点难又不是太难"的题目,再让自己当学生去做,根据做题的结果更新自己。整个过程不需要人类标注任何新数据,模型完全靠左右互搏来变强。
这篇论文的作者们盯着这个过程看了很久,发现了一件挺扎心的事。
**模型挑中的"好题目",很多时候压根没让模型变聪明。**
这不是一个小瑕疵,这是整个自我进化链路里的一个大洞。
出题准了,不代表学到了
先说说这些自我进化系统平时是怎么判断"这题该不该收进训练集"的。
它们通常看三个信号:模型做这道题的通过率怎么样,不同模型或者不同次采样的答案有没有分歧,这道题是不是刚好卡在模型能力的边界上。听起来挺合理,一道题如果模型十次里对五次,那确实像是"学习区"里的题目,不难不易。
但论文作者做了一个很简单也很狰狞的实验:把同一道被选中的"好题目",拿去给模型重新做一遍,用全新采样的回答去看模型到底学没学会。
结果是,在Agent0系统里,52.2%被选中、被认为"模型在边缘能学会"的题目,换一批新的回答去验证,模型根本没守住自己原来的优势。在R-Zero系统里,这个比例是42%。换句话说,差不多一半被判定为"值得学"的题目,其实是假象。
更扎心的是Skill Self-Play这个系统。研究者们检查了96次真实发生的模型更新,这些更新用的题目全部是"精确可验证"的,也就是说答案是100%确定对错的,不存在模糊空间。结果96次更新里,有60次,占62.5%,根本没有降低模型在正确答案上的负对数似然,说白了,模型练了半天,对正确答案的信心压根没提高。
这里要停下来解释一下这个"负对数似然"到底是什么。
负对数似然:简单说就是模型觉得某个答案有多"靠谱"的一个反向打分,分数越低说明模型越倾向于给出那个正确答案,分数没降,就说明这次训练对这道题的掌握程度几乎等于白练。
为什么会这样?论文里给出了一个很关键的洞察:筛选题目时用的信号,本质上描述的是"更新之前"模型的行为状态,而真正决定一次训练到底有没有用的,是优化器那次更新到底往哪个方向走了。这两件事完全不是一回事。
打个比方。你去医院体检,报告显示某项指标处于"临界区间",医生说你这个状态刚好适合通过某种训练方式调整回正常。但你真去做了那套训练方案之后,身体会往好的方向走,还是意外地往坏的方向走,这得等训练做完之后重新体检才知道。报告上的"临界区间"只是说明你现在适合尝试,它从来没有、也不可能预测训练之后你会变成什么样。
如果医院只凭体检报告就直接给你开好了"已完成康复"的证明,不管你实际做完训练后的状态如何,那这张证明就是纸上谈兵。现在的自我进化系统,很大程度上就是在干这件事:凭着训练前的"体检报告",就直接把训练后的模型原样收下,完全不检查训练完之后到底发生了什么。
论文作者把这个现象起了个名字,叫**选择到更新的鸿沟**。
选择到更新的鸿沟:指任务选择阶段看起来合理,但并不能保证之后产生的模型更新真的有用,这中间存在一个没人填补的空白地带。
这个鸿沟还有个更隐蔽的帮凶,叫选择性乐观。因为你是从好几个候选任务或候选分支里挑出"看起来表现最好"的那一个,这个挑选动作本身,会系统性地放大被选中那个候选的分数。论文里给出了严谨的证明:即便每个候选分支的打分本身是无偏的,只是单纯的"挑最大值"这个动作,期望上就会让赢家看起来比它实际水平更好。这跟机器学习里经典的"模型选择过拟合"问题是同一个数学本质,用同一批数据既挑选又评分,分数注定虚高。
既然挑题不靠谱,那就换个方式决定要不要学
论文的解法听起来朴素到有点反直觉:别光看题目选得准不准,直接去看训练完之后那个新模型,到底比训练前强还是弱。
这个机制论文取名叫**HeirCommit**。
HeirCommit:一种事后验证机制,把训练完产生的新模型先冻结住,拿一批全新的、没被用来做任何选择决策的题目去考它,跟原来的模型比一比,赢了才继承这个新模型,输了就守住原地不动。
这里的关键设计是"新鲜"这个词。用来做筛选决策的题目,和用来做最终确认决策的题目,必须是两批完全不同、互不重叠的题目。
为什么要这么麻烦,用两套不同的题目?因为如果用同一批题目既选分支又验证分支,那前面提到的"选择性乐观"问题又会卷土重来,相当于老师出的模拟卷先给你刷了一遍,然后拿同一份卷子给你打正式成绩,分数肯定虚高。用一套全新、谁都没见过的卷子去验收,才能挤掉那层虚高的水分。
论文用严格的数学证明了这件事的代价:如果复用筛选阶段的题目去做最终的继承决定,犯错的概率会随着候选分支的数量K线性增长,专业说法叫"要付一个关于K的联合界"。但如果用全新的题目去做最终确认,这个联合界就消失了,出错概率不会随着你多探索几条分支而越滚越大。
想象你在相亲,如果你每次相亲完,都拿第一次见面的印象当成"我们合不合适"的最终结论,那你可能会被最初那场尴尬又兴奋的荷尔蒙反应骗了。真正靠谱的做法是,第一次见面只是初筛,后面还要经过几次完全独立的、不带着初次印象滤镜的相处,才能真正判断要不要在一起。如果你不做这个独立验证,只凭第一印象就"继承"了这段关系,出问题的概率会随着你见过的候选人数量一起往上涨,因为每多一个候选人,就多一次被初次印象的运气骗到的机会。
实验结果证明这套机制确实管用。研究者们在R-Zero、Agent0、Skill Self-Play三个系统上各抽取了64次真实的模型更新,用一个和决策完全无关的池子去打分。原本这些系统会无条件接收所有更新,结果是有害更新占比高达47%到77%。装上HeirCommit之后,这个有害比例被压到了13%到16%。
相对于"随机挑一部分更新接收"这种对照组,HeirCommit把有害接收的比例砍掉了68%到83%。更有意思的是,在R-Zero和Skill Self-Play这两个系统上,原本整体更新池子是"负收益"的,接上HeirCommit之后,整体收益直接由负转正。Agent0系统原本收益就是正的,装上之后收益直接翻了五倍。
但光靠"要不要继承"这个二元选择还不够
HeirCommit解决了一个问题:这次训练出来的模型,到底要不要让下一轮继承。但论文作者又往前想了一步,提出了一个更尖锐的问题。
**一个模型,如果它产生的经验很有价值,是不是一定要连同它的参数一起被继承?**
这个问题听起来有点绕,但背后的直觉特别朴素。假设有个学生,这次模拟考他整体分数并不高,但他有一道题做出了一个特别巧妙的新解法,这个解法值得被记录下来教给下一个学生。可是按照"全有全无"的继承逻辑,因为这个学生整体分数没达标,他那道题的巧妙解法也会被一并丢掉,这不是很浪费吗?
论文给出的答案是把**参数继承**和**经验继承**彻底拆开成两件独立的事。这个完整的框架,论文叫它**EvoHeir**。
EvoHeir:把"下一轮模型继承谁的参数"和"下一轮模型吸收谁的经验"拆成两个独立决策的框架,核心包含探索、筛选、修复、确认四个步骤。
EvoHeir整个流程走四步。
第一步是探索,从当前模型这个"根"出发,训练出好几条平行的分支,每条分支都是一次独立的训练尝试。第二步是筛选,把这些分支和原始的根模型拿到同一批题目上比一比,选出一个"接收人",这个接收人将成为下一步要加工的对象,注意,这里不是直接拍板继承哪个分支,只是先选一个"底子"。第三步是最有意思的一步,叫经验修复。第四步才是最终确认,也就是前面说的HeirCommit,拿全新题目来做最后把关。
先说说第三步,经验修复到底在做什么。
系统会维护一个**经验档案库**,把每一轮训练过程中产生的、质量合格的回答都存起来,不管这一轮最终有没有被继承。
档案库:一个有容量上限的存储区,记录各个训练分支生成的高质量回答,包括它是哪个模型版本生成的、怎么验证通过的,这些记录不会因为对应那一轮的模型没被继承就被扔掉。
接下来,系统让被选中的"接收人"去尝试做档案库里那些题目,如果它做对了,这道题的正确回答就归入**保留组**,后面训练时要让它继续巩固这个会的技能,别练忘了。如果它做错了,系统会从档案库里找出别人针对这道题曾经验证过的正确解法,当作参考答案,归入**修复组**。
然后是真正的训练动作,这里用了一个挺巧妙的设计,叫教师学生蒸馏。冻住一个"老师"版本的模型(其实就是接收人自身的一个快照),让它在看到参考答案的情况下预测下一个该写的词是什么,这个预测结果当成标准答案,去纠正那个正在训练、没看到参考答案的"学生"版本。对于保留组的题目,老师看到的输入和学生一样,只是巩固原有的正确行为,防止训练把它冲掉。
这套操作有个精妙之处,它用的是LoRA这种轻量级的微调方式,每轮最多做16次更新,代价很小,但效果却很扎实。
LoRA:一种只给模型加一个小小的、低秩的"旁路"模块去做微调,不用动模型主体参数的训练方式,成本比全量微调小得多。
这里就要回到前面那个"巧妙解法该不该被继承"的问题了。论文做了一组让人印象很深的对照实验:找了16个"捐献者"模型,其中10个的整体水平比当前模型还弱,结果这10个弱模型里,有8个它们贡献的经验,照样能让接收模型变强,平均带来0.71个百分点的提升,即便这些捐献者本身平均比当前模型弱了1.09个百分点。
这组数据说明了一件很违反直觉的事:一个整体较弱的模型,完全可能留下某个局部特别精彩的解题路径,这条路径值得被单独捞出来教给别人,但如果非要把这个较弱模型整体继承过来,反而会把它整体偏弱的那部分也一并带进来。
打个比方,一个公司里业绩平平的员工,他可能在某次谈判里用了一个特别聪明的话术,这个话术值得写进公司培训手册,但你总不能因为这句话术就把这名员工提拔成全公司的业绩标杆,把他所有的做事方式都当成模板。把他的某个闪光点挑出来教给大家,和把他整个人提升到决策位置,是完全不同的两件事。如果只能做"全盘继承"或者"全盘放弃"这个二选一,那这个闪光点永远没机会被用上。
论文还做了另一组很扎实的对照实验,专门证明"用修复教师蒸馏"这套方法,和"直接拿参考答案做监督微调"相比,到底谁更靠谱。用同样64条参考资料,直接监督微调这种做法虽然能学到2.08个百分点的新技能,但同时会丢掉2.61个百分点原来就会的技能,净收益是负的0.54个百分点。而经验修复方法学到2.54个百分点的新技能,只丢了1.15个百分点的旧技能,净收益是正的1.39个百分点,平均领先1.93个百分点。
为什么直接监督微调会把旧技能冲掉,而经验修复不会?关键就在那个"保留组"的设计,对于本来就答对的题目,经验修复专门分了一组训练数据去巩固它,而直接监督微调压根没有这个概念,它只顾着往新答案方向拉,没有刻意去照顾那些原本就答对的部分。
论文里举了一个具体的数学例子特别说明这件事。在Qwen3-4B-Base这个模型跑到第5轮的时候,接收人在解一道根号方程 √(x+9)=√x+1 时,漏掉了交叉项,算出了错误答案x=0。档案库里有一条第4轮产生的参考资料,来自一个当时没有被继承的提案,记录了正确解法x=16。经验修复用这条参考资料教会了接收人,之后接收人哪怕看不到这条参考资料,也能自己正确算出x=16了。而在另一个例子里,同样这批64条参考资料,直接监督微调把2的100次方模7这道题原本答对的余数2改成了错误答案4,经验修复则保住了正确答案2。
有意思的是,这次经验修复之后,系统拿这个结果去做最终的HeirCommit确认,算出来的新鲜题目收益是负的0.31个百分点,于是系统做出了保守的决定:不继承这次的参数更新,但是,这一轮产生的合格经验,照样会被存进档案库,留给下一轮用。
这就是整个框架里最让我觉得精妙的一点。**参数可以被拒绝,经验却从不因此被浪费。**
四个骨干模型上跑出来的真实成绩
说了这么多设计理念,实际效果到底怎么样?
论文在四个不同的基础模型上各跑了十轮完整的自我进化过程,分别是Qwen3-4B-Base、Qwen3-8B-Base、OLMo-3-7B,还有已经经过指令微调的Gemma-4-E4B-it。评测覆盖七个数学基准和五个通用推理基准。
结果是,EvoHeir在全部四个骨干模型上,数学平均分和通用推理平均分都拿到了最高分。相比表现最强的对照方法Agent0,EvoHeir在三个基础模型上数学平均分领先1.59到2.40个百分点,相当于6.0%到7.0%的相对提升。即便是已经做过指令微调、提升空间最小的Gemma模型,EvoHeir照样领先0.55个百分点。
论文还细看了48组"基准测试乘以骨干模型"的组合,EvoHeir在其中45组都赢了Agent0,唯独输在3组,而且这3组全部都是只有30道题的AIME竞赛题集,样本量太小,统计噪声本身就大。
另外一个值得一提的对照实验是"去掉经验修复,只保留探索筛选确认三步"这个阉割版本。结果显示,在全部四个骨干模型上,完整版EvoHeir都稳稳超过这个阉割版,这证明经验修复这一步确实在真实贡献收益,不是摆设。
论文还专门做了一个等成本对照实验,很诚实地指出了一件事:如果预算配得太紧,把该花在原生训练上的资源都挪去做筛选、修复和确认,完整版EvoHeir反而会表现最差。只有当预算足够,留给原生训练的资源没被压缩得太狠的时候,完整版EvoHeir的优势才会显现出来。这提醒了一个很现实的问题,这套机制不是免费的,它需要额外的算力去做筛选和确认,大概会带来23.7%的额外开销,只有在预算允许的情况下才值得投入。
写在后面
读完这篇论文,最让我回味的其实不是那些漂亮的实验数字,而是它提出的那个问题本身的角度切换。
大多数关于自我进化系统的研究,思路都是在"怎么出一道更好的题"上做文章,怎么衡量难度,怎么衡量分歧,怎么找到能力边界。这篇论文直接跳过了这个问题,转去问另一件事:题目出得再好,凭什么保证训练完之后的模型真的变好了?
这其实触及了一个更普遍的道理:我们习惯用"输入端的合理性"去默认推断"输出端的正确性",但这两者之间从来没有必然联系。体检报告合理不代表治疗方案一定有效,面试表现好不代表这个人真的适合这份工作,一道题看起来"刚好有点难"不代表练完之后真的学到东西。中间那个过程本身,永远值得被单独检验,而不是被默认信任。
论文里那个"弱模型也能贡献有价值经验"的实验结果,也让我重新想了一下"评价一个人"这件事本身。我们太习惯于用一个综合分数去判断一个人整体行不行,却很少去追问,这个人身上有没有某个具体的、值得单拎出来用的闪光点,这个闪光点未必需要这个人整体达标才能被利用。这种"把整体评价和局部价值分开看"的思路,其实不只适用于AI训练,放在怎么评估团队成员的贡献上,可能也挺值得想一想。
这篇论文目前还没解决的问题是,HeirCommit和EvoHeir目前用的确认门槛是一个很保守的"零阈值",只要新鲜题目上的收益是正的就接受,这在实践里好用,但论文自己也承认,如果想要更严格的统计保证,需要设一个带置信边界的正数门槛,而这会牺牲一部分接受灵敏度。换句话说,"确认得多严格"和"能接受多少真正有用的更新"之间,本身就是一个还没被彻底解决的权衡,留给后面的研究者继续琢磨。
Q&A
Q1:EvoHeir是什么?
A:EvoHeir是一个让AI模型自我进化时更靠谱的框架,它把"继承哪个模型的参数"和"吸收哪些训练经验"拆成两个独立决策,通过探索、筛选、修复、确认四个步骤,让有价值的经验即便不被继承的模型也能留存下来,供后续训练使用。
Q2:HeirCommit解决了什么问题?
A:HeirCommit解决的是自我进化系统容易"无条件接收所有更新"的问题。它把训练完成的新模型冻结,用一批全新的、没参与过筛选的题目去跟原模型比较,只有新模型表现更好才会被继承,否则就保留原模型,从而把有害更新的接受比例降低了68%到83%。
Q3:为什么选中的学习任务不一定能让模型变强?
A:因为任务筛选阶段用的信号(比如通过率、分歧程度)只反映训练前模型的行为状态,而真正决定训练是否有效的是优化器更新的方向。论文实验发现,42%到52%被判定为"适合学习"的任务,换新的回答验证后模型其实没守住优势,96次真实更新中更有60次完全没有提升模型对正确答案的信心。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。