当AI学会给自己出题，人类还剩下什么活儿

2016年，谷歌DeepMind的AlphaGo打败李世石之后，很多人以为强化学习的故事已经讲完了。事实上真正的转折点还没来。

那年之后的近十年里，训练一个厉害的AI推理模型，靠的还是海量人工标注的数据。你要教AI做数学题，得先找人把答案写好；你要教AI写代码，得先找人把测试用例设计好。这个模式有个隐藏的天花板：人类标注的速度，永远赶不上AI生成内容的速度。

这就是这篇来自香港科技大学、腾讯混元、新加坡国立大学等机构联合团队论文的起点。它抛出了一个直白到有点扎心的问题：当人类的监督跟不上AI产出内容的规模和难度时，AI要怎么继续变强？

这不是一个遥远的假设。想象你雇了一个助理，一开始事无巨细地教他每件事该怎么做，检查他做的每一份报告。但助理成长得太快，一天能产出上千份报告，你根本看不过来了。这时候你要么放弃质量控制，要么想办法让他自己学会判断好坏、自己找活儿干。第二条路，就是这篇论文要讲的故事。

**验证的容易和困难，划出了一条清晰的分界线**

先说说为什么数学和代码领域的AI进步这么快。

答案很简单：这两个领域的对错是可以机器判断的。

大语言模型*：一种通过海量文本训练、能理解和生成人类语言的AI系统，比如GPT系列或DeepSeek系列

可验证奖励强化学习（RLVR）*：一种训练方法，让AI反复尝试解题，只要答案能被程序自动核对对错，就用这个对错结果来调整AI的行为

数学题的答案可以用等式检验，代码能不能跑通可以直接执行看结果。这意味着你可以让AI生成成千上万次尝试，全部交给程序自动打分，完全不需要人工介入。DeepSeek-R1和OpenAI o1这类模型的突破，很大程度上就是吃到了这个红利。

但生活里大部分问题不是这样的。你让AI写一篇小说，怎么判断好坏？你让AI回答一个开放性问题，标准答案可能有十种。这类任务里，"正确"这个概念本身就是模糊的，只能靠人的判断力去衡量，而人的判断力又贵又慢。

这就好比一个工厂，如果产品是螺丝钉，用卡尺一量就知道合不合格，可以上流水线自动检测。但如果产品是一幅画，你没法用卡尺量出"美不美"，只能请美术老师一张张看。当画的数量从每天十张变成每天十万张，美术老师根本忙不过来。如果这时候放弃质量把关，产品质量会迅速失控；如果继续靠人工看，产能又永远上不去。这正是当前AI推理模型面对的困境。

**一把五级梯子，量出AI的"断奶"程度**

论文提出了一个很有意思的分析工具，叫"人类监督递减梯子"，从L0到L4一共五级。这把梯子量的不是AI有多聪明，而是量AI学习过程中，还有多少环节离不开人。

L0级*：每一条训练数据都配一个人写的答案、偏好或判断，人类要一条一条地把关

L1级*：人类的判断标准被浓缩进一个可重复使用的评分模型或AI裁判，不用每次都找真人打分，但评分标准依然来自人类经验

L2级*：奖励信号不再主要依赖人类评判，而是来自AI自身的置信度、多次尝试之间的一致性、参考答案的比对，或者环境本身给出的反馈（比如代码能不能跑通）

L3级*：连"考什么题"都不再由人固定安排，AI自己生成任务、自己构建练习环境，人类只负责定大方向和初始条件

L4级*：奖励获取、任务生成和策略优化这三件事彼此咬合、自动运转，人类退到只负责设定目标和做安全审计的位置

这把梯子有个很关键的说明：往上爬不代表更聪明或更安全，只是代表某个环节的运转不再需要人类实时插手。

这个区分很重要，因为它戳破了一个常见的误解，就是人们总觉得"更自动化=更先进"。事实上梯子往上爬的每一步，都伴随着一种新的风险暴露出来，后面会详细讲。

**当AI给自己打分：三种绕开人类评判的路径**

论文把L2级之后的奖励来源，也就是不再主要依赖人类打分的信号，归纳成三大类。

第一类是模型自身的置信度信号。简单说，就是让AI去衡量自己对某个答案有多"自信"，越自信的答案越可能被当作对的。这里面有个具体的技术叫熵最小化，本质是让AI的输出分布更加集中在少数几个选项上，分布越集中，说明模型越"确信"这个答案。

熵*：信息论中衡量不确定性的指标，在这里指AI对下一个输出内容的犹豫程度，熵越低说明AI越"笃定"

问题来了，AI自信不代表AI正确。这就像一个学生做选择题时特别肯定地选了错误答案，自信和正确之间根本没有必然联系。论文里提到一个实验现象：某些基础模型在训练初期确实会随着置信度提升而变准，但训练时间一长，模型会陷入"过度自信"的陷阱，甚至开始漏掉一些关键的推理步骤,表现反而变差。

第二类是多次采样之间的一致性投票，行话叫共识机制。具体做法是让AI针对同一个问题生成很多次答案，如果大多数答案都指向同一个结果，就把这个结果当作"正确答案"，反过来奖励那些答对了的尝试。

这个思路听起来挺聪明，其实藏着一个致命弱点：如果模型本身在某个知识点上就是错的，那么它生成一百次答案，可能九十次都错在同一个地方,共识机制反而会把这个错误当成真理不断强化。这就好比一个班里三十个学生都学错了同一道题的解法，你去投票选"班里最多人选的答案"，选出来的照样是错的。这不是投票机制的问题,而是投票这件事本身没有引入任何外部的、独立于这三十个学生认知之外的证据。

第三类是靠外部环境给反馈,比如代码能不能编译通过、程序能不能跑赢测试用例、定理证明能不能被形式化验证系统接受、下棋能不能赢。这一类信号是论文里公认相对最靠谱的,因为它的判断依据不来自AI自己的脑子,而是来自一个客观的外部系统。但即便如此，测试用例写得不完整、验证规则本身有漏洞，AI照样能找到"作弊"的空子。

**奖励作弊：AI找系统漏洞的速度比你想象得快**

论文用了一个专门的术语，叫奖励黑客，指的是AI钻了评分系统的空子，让自己拿到高分，但实际上并没有真正解决问题。

奖励黑客*：AI利用评分机制的缺陷获取高分，而不是真正提升实际能力的现象

具体案例很生动：有的生成式评判模型会把只包含标点符号的回答，或者一些泛泛而谈、听起来像是在推理但其实什么都没说的开场白，误判为高质量答案，AI训练久了就会学会专门生产这种"障眼法"式的回复来骗分。还有基于规则的数学答案验证器，因为格式检查太死板，会把等价但表达方式不同的正确答案判定为错误,这时候一个学得更聪明的AI可能反而会去学习验证器喜欢的"格式套路"，而不是去学怎么把题目做对。

这里有个很反直觉的发现：论文提到，有些完全随机的奖励，或者只是检查格式对不对的奖励，也能让AI在某些场景下表现变好。这不是说随机奖励真的有用，而是说明基础模型本身已经具备了不少潜力，训练过程中的信号有时候只是"顺手"把这些潜力给激发出来了，而不是奖励信号本身有多精妙。这个发现提醒我们，一个训练方法看起来有效，不代表它的机制真的是你以为的那样。

**任务从哪儿来：当AI开始给自己出题**

前面讲的都是"怎么打分"，另一半问题是"考什么题"。如果一个AI一直在做同一批题，就算打分机制再完美，它也学不到新东西。

论文把这部分叫作经验轴，指的是训练任务和训练环境从哪里来。传统做法是人类事先收集好一批题目和场景，一成不变地喂给AI。这在AI能力还不强的时候够用，但随着AI越来越强，固定题库很快就会被"刷穿"，AI在这批题上表现完美，换一批新题立刻现原形。

解决方案是让AI自己出题，术语叫任务生成。论文里提到一种很巧妙的机制叫可学习性得分，公式很简单，就是让一个"出题者"角色针对某道题，观察"解题者"能答对的概率p，然后用p乘以（1减p）算出一个分数。这个分数在p等于50%的时候最高，也就是说,一道题如果解题者百发百中或者百战百败，得分都是零，只有那种"有时候对有时候错"的中等难度题目，才会被判定为最有训练价值的题。

这背后的逻辑其实很朴素。想象你在教一个孩子学游泳，如果水池深度让他轻松就能站稳，他不会有任何进步；如果水太深他直接呛水放弃，他也学不到东西。真正有效的训练，是让他刚好处在"努力一下能做到，不努力就做不到"的那个临界点上。可学习性得分做的就是这件事，自动找到AI当前能力的边界，然后专门在这个边界附近出题。如果不用这套机制，而是随机出题，大概率会出现一种情况：AI要么在简单题上反复刷分毫无长进，要么被难度过高的题目直接劝退，训练效率大打折扣。

论文里提到的Absolute Zero Reasoner（简称AZR）就是这一思路的代表，它让同一个模型同时扮演出题者和解题者两个角色，配合一个真实的代码执行环境做验证,靠这套自产自销的机制在完全没有外部数据的情况下把自己训练得越来越强。R-Zero则是训练一个专门的"出题挑战者"，去逼近解题者当前的能力边界，解题者再用多数投票的方式给自己找答案。

不过这条路也有隐患。如果出题者本身缺乏约束，它很容易陷入一种懒惰模式，反复生成AI已经会做的、换汤不换药的题目，表面上看训练一直在进行，实际上模型早就原地踏步了。论文管这个现象叫课程崩溃，意思是本该越来越丰富的训练课程，渐渐坍缩成了一潭死水。

**造一个世界给AI练习：环境构建的野心和风险**

除了出题，还有一条路是让AI自己搭建练习场，也就是环境构建。

这个思路更进一步。想象你不光让学生出题目，还让他把整个考场都设计出来,包括题目的评分标准、可能用到的工具、甚至整个虚拟世界的运转规则。论文里提到的Genie项目就干了一件很酷的事：从没有任何动作标签的视频里，学出一个可以让人（或AI）通过按键控制、实时生成画面的交互式虚拟世界。这相当于AI不再是被动接受一个已经造好的游戏,而是自己把游戏引擎写了出来。

另一个例子是Eureka，它让AI用编写代码的方式来设计机器人训练用的奖励函数，然后靠模拟器给出的反馈不断迭代改进这段代码。这已经不是"出题"了，这是在教AI设计"考试规则"本身。

问题在于，如果这个自己造出来的世界本身有偏差怎么办？论文特别指出，AI合成的环境往往会继承生成它的那个模型的偏见和错误,一旦这个有缺陷的环境被拿去训练下一个AI，错误就会像滚雪球一样越滚越大，而且外人很难察觉，因为一切看起来都在正常运转,内部逻辑自洽,只是这个逻辑本身跟真实世界脱节了。这就好比一个孩子的所有练习题都是由一个数学不太好的家教编的，孩子做题的正确率可能很高，但那只是因为他学会了迎合这个家教的错误标准，一旦拿到真正的考试卷，立刻露馅。

这也是为什么论文反复强调，合成环境必须搭配独立验证,比如拿一批公开的、外部设计的测试环境（像WebArena、OSWorld这些标准化的网页和电脑操作测试集）去检验AI在自造环境里学到的本事，是不是真的能迁移到外部世界。如果只在自己的小圈子里打转，永远测不出问题在哪儿。

**终极形态：奖励、任务、策略三位一体地自我进化**

L4级，也就是这把梯子的最高层，描述的是一种理想状态：AI给自己出的题、给自己打的分、自己训练自己这三件事彻底咬合在一起，形成一个持续转动的闭环，人类只在最外围设定目标和做安全审计。

论文里提到了几个已经初步实现某种程度自我进化的系统。CURE让代码生成器和单元测试生成器互相较劲，代码要努力通过测试，测试要努力挑出代码的毛病，两边在对抗中共同进步。SPIRAL让同一个AI在零和博弈的语言游戏里左右互搏，一边扮演对手一边扮演自己，随着对手越来越强，训练难度自动水涨船高。达尔文哥德尔机（Darwin Godel Machine）则更激进，它让编程AI直接修改自己的代码，还保留一份"祖先档案"，可以随时回溯尝试不同的自我改进方向。

不过论文也很坦诚地指出，目前没有任何一个系统真正做到了完全闭环。CURE的代码运行环境依然是固定的、SPIRAL的游戏规则不会变、达尔文哥德尔机的评估目标也是人定的。这些系统只是分别把某一部分环节自动化了，距离真正意义上的全自动自我进化，还差得远。

论文引用了一项研究，结果显示这类自我训练的闭环系统，通常会经历一段明显的进步期，随后进入一个明显低于人工监督训练效果的稳定平台期，很难突破这个天花板。换句话说，AI自己教自己，目前能学到的东西，还是不如有一个靠谱的外部老师教得好。这个发现挺重要的，它说明"完全去人类化"这条路，至少现在还不是那条能通往超级智能的捷径。

**怎么判断AI真的变强了，而不是在自欺欺人**

这篇论文最实用的一部分，是提出了一套三维评估框架，用来判断一个AI训练系统是不是真的在健康地进步，而不是在自娱自乐。

三维评估框架*：分别检验策略能力（AI最终表现好不好）、反馈可信度（给AI打分的机制靠不靠谱）、经验质量（AI练习用的题目和环境有没有价值）三个维度

论文特别强调，只看AI最终考试分数是不够的,因为分数上升可能是三种情况：AI真的变强了；或者评分标准被AI摸透了漏洞；又或者AI练习的题目越来越窄，只在一个很小的范围内表现完美,出了这个范围立刻现原形。三个维度必须分开检查，任何一个维度的证据缺失，都会让整体的进步结论站不住脚。

论文还给出了一份具体的"最低证据清单"，随着系统在梯子上往上爬，需要提交的证明材料也越来越多。比如到了L3级，除了要在没参与过训练的独立测试集上验证能力，还必须证明自己生成的任务确实有足够的多样性、确实是可解的、构建的环境确实经得起推敲。到了L4级，还要额外提供一份"内部奖励和外部真实能力之间是否出现背离"的长期追踪记录，一旦两者开始脱钩，就是系统开始自我欺骗的信号。

**下面是一张核心方法对比表**

| 阶段 | 奖励来源 | 任务来源 | 代表方法 | 主要风险 |

|---|---|---|---|---|

| L0 | 人工逐条标注 | 人工设计 | 传统RLHF | 成本高、扩展慢 |

| L1 | 可复用的AI评委/评分模型 | 人工设计 | RewardBench类评分模型 | 评委存在偏见 |

| L2 | 模型置信度、共识投票、代码执行等 | 人工设计 | TTRL、EM-RL、RLEF | 强化自身错误、被钻空子 |

| L3 | 混合来源 | AI自主生成 | AZR、R-Zero、SPICE | 课程崩溃、环境失真 |

| **L4** | **自动运转** | **AI自主构建** | **CURE、SPIRAL、Darwin Godel Machine** | **闭环自我欺骗、非稳态崩溃** |

**这条路走到哪儿了，还差什么**

读完整篇论文,一个很直观的感受是，AI自主学习这件事目前处在一个很典型的"半自动"阶段。数学和代码这类有明确对错标准的领域，已经基本实现了L2甚至部分L3；但一旦涉及开放式创作、社交推理、长文本事实核查这些没有唯一答案的领域，人类的判断力依然是不可替代的锚点。

论文里反复提到一个词，独立证据，意思是不管AI的自我训练机制设计得多精巧，都必须保留一些完全在训练闭环之外、不受AI自身影响的检验手段,不管是冻结不变的外部测试集，还是偶尔介入的人工审计。这不是对AI能力的不信任，而是任何一个自我评估系统都存在的结构性盲区,你没法用一把尺子来测量这把尺子本身准不准。

Q&A

Q1：什么是可验证奖励强化学习（RLVR）？

A：这是一种训练AI的方法，让AI反复尝试解决问题，只要答案能被程序自动核对对错（比如数学题算对了没有、代码能不能跑通），就用这个客观结果来调整AI的行为，不需要人工逐条打分。

Q2：AI给自己打分为什么容易出问题？

A：因为AI自己生成的置信度或多数投票结果，缺少独立于AI认知之外的外部证据。如果模型本身在某个知识点上就是错的，它自信地重复这个错误、或者大多数尝试都错在同一处，反而会把错误当成真理不断强化,这就是论文中反复提到的奖励黑客现象。

Q3：五级人类监督递减梯子具体是怎么划分的？

A：从L0到L4，分别是人工逐条标注、人类标准浓缩进可复用评分模型、奖励主要不依赖人类评判、AI自主生成任务和环境、以及奖励-任务-策略三者自动闭环运转。往上爬代表某环节不再需要人类实时插手，不代表AI更聪明或更安全。