给大模型做"微整形"：只调10万个参数，就能让它自己变聪明

2024年前后，强化学习圈子里流行一个说法：想让大模型在没有标准答案的情况下自我进步，就得让它跑一大圈训练流程，动辄更新几十亿参数。这几乎成了行业默认的前提。

但芬兰图尔库大学的一个研究团队做了件挺反常识的事。他们把一个76亿参数的大模型（Qwen2.5-7B）几乎整个冻住，只留出10万个参数可以调整，相当于整个模型的七万六千分之一。然后告诉模型："你自己做题，自己给自己打分，用这点可怜的调整空间去进步吧。"

结果呢？模型在数学题测试集MATH-500上的准确率从45.9%涨到了76.67%。

这个数字值得你停下来想一想。如果你告诉一个只能微调万分之一权重的系统，让它自学提高三十个百分点，大多数人的第一反应会是：不可能，调整空间这么小，能有什么用？但这篇论文恰恰证明了，在合适的"调整位置"上，极小的改动空间也能撬动巨大的行为改变。

这就是这篇论文要讲的故事：如何用近乎苛刻的参数预算，和完全没有人工标注的训练信号，让大模型实现真正意义上的自我进化。

当训练数据和训练空间同时被掐住脖子

先说说这事难在哪。

传统意义上，想让AI模型变得更聪明，无非两条路。第一条路是喂给它大量标注好正确答案的数据，让它在监督下学习；第二条路是做强化学习（RL），用一个明确的奖励信号告诉它"做对了，奖励；做错了，惩罚"。这两条路都依赖一个共同的前提：你得有一个靠谱的"打分员"，要么是人工标注的标准答案，要么是一个能精确判断对错的规则系统。

测试时强化学习（TTRL）：一种让模型在部署阶段、仅凭自己生成的多次答案进行自我训练的方法，完全不依赖任何人工标注的标签。

但现实中很多场景是没有标准答案的。模型部署到线上以后，面对的是源源不断的新问题，没人会实时给它打分。有没有办法让模型在"裸奔"状态下，靠自己摸索着进步？

2025年出现的TTRL给出了一个巧妙的答案：既然没有标准答案，那就让模型自己生成多个答案，然后"少数服从多数"。比如一道数学题，模型生成32次独立解答，如果有20次都算出同一个答案，那这个答案大概率是对的，就把它当作"伪标签"，用来训练模型本身。这个思路继承自更早的自洽性（self-consistency）技术，后者只是用多数投票来提升推理时的准确率，不涉及训练；TTRL则把投票结果变成了训练信号，让模型真正从自己的输出里学习。

但TTRL有个问题：它依然要更新模型的全部参数，七十六亿个参数全部参与梯度更新。这在计算上非常昂贵，GPU显存和时间开销都很大。这篇论文提出的问题就是：如果把参数预算砍到极限，这套自学机制还能不能撑得住？

答案不是简单的"能"或"不能"，而是"取决于你调的是哪部分参数"。这才是整篇论文真正有意思的地方。

偏置项：给每一层悄悄塞一张纸条

研究团队选择的调整对象，是Transformer模型里每一层MLP（多层感知机）模块输出端的一个偏置向量（bias vector）。

偏置向量：神经网络每一层计算结果上额外加的一个固定偏移量，不依赖输入内容，只是给输出统一"挪个位置"。

具体来说，模型原本每一层的计算是这样的：输入经过一堆矩阵乘法和激活函数，得到输出。现在研究者在这个输出上，额外加了一个可训练的向量bl。整个模型有28层，每层偏置向量的维度是3584，加起来正好是28×3584=100,352个参数，这就是论文标题里反复强调的"约10万参数"。除此之外，注意力层、词嵌入层、所有归一化层，全部冻结不动。

这个设计你可以这样理解。想象一个老练的厨师，手艺已经定型多年，你没法让他从头重新学厨艺（那相当于全参数微调，成本太高）。但你可以在他每道菜出锅前，悄悄递一张小纸条，上面写着"这道菜加一撮盐、那道菜少放点糖"。厨师的刀工、火候、所有基本功都没变，但每道菜出来的味道，因为这张小纸条，整体往某个方向偏移了。如果不给这张纸条，厨师还是按老经验做菜，不会有任何改进；但如果让厨师重新学一遍手艺，代价又太大。这张"纸条"就是偏置向量存在的意义：用最小的代价，在不触碰底层能力的前提下，实现系统性的行为校正。

关键的问题来了：为什么偏置项这个位置特别好使？论文给出了一个理论解释，叫作"可及梯度能量"（accessible gradient energy）。简单说，模型在训练过程中会产生一个完整的梯度信号，告诉参数应该往哪个方向调整。但如果你只能调整一小部分参数，那你能利用的梯度，只是这个完整梯度在你这"一小片可调空间"上的投影。投影越大，说明这片空间"接得住"的有效信息越多，训练效果就越好。

论文做了个很扎实的验证实验：他们选了九个不同层的偏置子空间，每个子空间参数量完全相同（都是3584个），然后测量每个子空间能接收到的梯度能量，再看训练后的准确率表现。结果两者的斯皮尔曼相关系数高达0.917（统计显著性p=0.0013），几乎是严格的正相关。

这意味着什么？意味着参数数量根本不是决定训练效果的关键变量，位置才是。论文开篇那张对比图就很说明问题：在同样10万参数预算下，偏置项训练在六个不同的模型和任务组合上全部带来正向提升，而另一种常见的参数高效微调方法LoRA（低秩适应）在某些任务上甚至比不训练还差（LogicVista任务上从37.5%掉到35.86%）。

LoRA（低秩适应）：一种参数高效微调技术，通过在模型权重矩阵旁插入两个低秩矩阵来实现调整，是目前业界最常用的轻量化微调方法之一。

还有一个更极端的对比实验，研究者测试了一种叫ReFT的方法变体（去掉偏置项和正交约束的版本），同样是10万参数预算，结果训练过程极不稳定，准确率标准差高达12到30个百分点，模型经常是训练到一半就开始退化，最终呈现的效果反而比训练起点还差。这进一步证明，不是随便找个10万参数的角落调一调就行，偏置项这个位置有它特殊的结构优势。

没有标准答案，靠"投票"造信号

解决了"调哪里"的问题，还得解决"用什么信号去调"的问题。

论文采用的奖励机制就是前面提到的多数投票。对每道题，模型生成G次独立解答（论文中G取32到64），统计这些答案里出现次数最多的那个，当作"伪标签"。和这个多数答案一致的解答给+1分，不一致的给-1分。

这里有个显而易见的担忧：多数人（或者说多数次采样）投出来的答案，万一恰好是错的呢？论文给出了一个理论保证，叫作"伪标签可靠性命题"。核心结论是：只要模型对正确答案的预测概率，比对其他任何一个错误答案的预测概率都高出一个正的"安全边际"（margin），那么随着采样次数G的增加，多数投票选出错误答案的概率会呈指数级下降。

这个道理放在生活里也很好懂。想象你去一个陌生城市问路，如果问一个人，他有十分之一的概率因为记错而指错方向；但如果你连续问三十个路人，只要大多数人确实知道正确路线（哪怕每个人都有点出错的概率），少数人的错误指引会被稀释掉，你跟着大多数人说的方向走，出错概率会急剧降低。如果你只问一次就走，判断全凭运气；但问得越多，整体的判断就越稳，这正是论文里"采样次数越多、伪标签越可靠"的直观版本。如果不做多次采样，直接相信模型的单次输出，那就完全丧失了纠错机制，伪标签的可靠性根本无从谈起。

实验数据也印证了这个理论。研究者在64个数学题上做了测试：只采样1次，伪标签准确率是40.6%；采样到4次，涨到54.7%；采样到16次，涨到70.3%；采样到64次，涨到79.7%。曲线清清楚楚地往上走，和理论预测的指数衰减趋势吻合。

GRPO：一种强化学习优化算法，全称是组相对策略优化，它把一组采样结果的奖励做标准化处理，得到每次采样的"相对优势"，不需要额外训练一个价值网络来评估好坏。

把这套多数投票产生的奖励信号，喂给GRPO算法做优化，梯度只回传到那10万个偏置参数上，模型主体权重完全不动。这就是整套"无标签偏置调整测试时强化学习"（Label-Free Bias-Only TTRL）方法的全貌。

效果验证：文字、图像、声音全部适用

这套方法好不好用，不能只看数学题这一个场景。研究团队在四种不同类型的任务上做了测试，覆盖纯文本推理、图文理解和语音推理。

在MATH-500数学题上，Qwen2.5-Math-7B模型从基线的56.0%提升到79.50%，Qwen2.5-7B从45.9%提升到76.67%。作为对比，同样用这套无标签训练流程但更新全部76亿参数的"全参数微调"版本，能达到77.00%到83.80%，只比偏置项方法高出零点几到四个百分点，但代价是训练用的GPU小时数多了16到18.5倍（偏置项训练用单张GH200显卡耗时约4.5到5小时，全参数微调需要四张显卡跑FSDP分布式训练，耗时近80小时）。

图文推理任务上，针对Qwen2.5-VL-7B-Instruct模型，AI2D图表理解任务从73.58%提升到78.29%，LogicVista逻辑推理任务从37.50%提升到43.38%，MathVista数学视觉推理从61.60%提升到65.40%（这一项甚至超过了全参数微调的62.57%）。语音理解任务MMAU上，Qwen2.5-Omni-7B从57.40%提升到60.87%。

六个测试场景，全部正向提升，而且同样的训练代码，只改了任务特定的提示词和打分规则，核心流程完全不变。

研究者还做了个很有说服力的对照实验：把学到的偏置向量固定下来，拿到4500道训练时完全没见过的新数学题上去测试，看它是不是真学到了通用的东西，而不只是记住了这500道训练题的答案。结果Qwen2.5-7B在这批全新题目上从46.3%涨到70.9%，Qwen2.5-Math-7B从52.5%涨到75.4%，提升幅度和训练集上几乎一致。这说明学到的"偏移"是一种可迁移的推理习惯，不是死记硬背。

有标签和无标签，差距究竟有多大

论文还做了一个二乘二的交叉对比实验，同时变化"有没有标准答案"和"调整全部参数还是只调偏置项"两个维度，一共四种组合。

结果挺有意思。在偏置项这个小预算下，用伪标签训练（76.67%）反而略微超过用真实标签训练（75.47%），差距大约1到2个百分点。但在全参数微调这个大预算下，情况完全反过来：用真实标签训练能达到87.93%，比用伪标签训练的77.00%高出近11个百分点。

这个反差背后的逻辑是：全参数微调的"容量"足够大，一旦给它真实标签这种更精确的信号，它能把这份精确信息充分利用起来，带来大幅提升；但偏置项这种极小容量的调整空间，本身就决定了它能吸收的信息量有限，所以信号精确与否的差异被"容量瓶颈"给抹平了。

这就好比给一个只有巴掌大的储物格和一个整间仓库分别存东西。储物格太小，你给它再贵重的货物，它也只能塞进去那么点；但仓库空间大，货物越精贵，能发挥的价值差距就越明显。如果偏置项的调整空间再大一些，这个"标签精度不敏感"的现象可能就不成立了，这恰恰说明极小参数空间本身就是一种天然的"降噪器"，但同时也是个"天花板"。

论文作者还特别提醒读者，不要把这个发现和另一个附录里的对比实验搞混。附录里对比的是"自己训练的偏置向量"和"别人用不同优化器、四万道题训练出来的偏置向量"，后者表现更好（75.6% vs 72.0%），但那是因为训练数据量差了80倍，优化器也不同，不是一个公平对照。论文很坦诚地把这个容易混淆的地方单独写出来解释，这种严谨态度在实验论文里不算常见。

审计环节：承认局限比吹嘘效果更重要

这篇论文让我印象很深的一点是，作者没有止步于展示漂亮的准确率数字，而是专门花了一整节去"找茬"，审计这些提升背后是不是存在某种投机取巧。

结果发现，语音理解任务MMAU上的提升，有三分之二来自一个很窄的问题模板，即"数出音频里含有特定重读/非重读音素的单词数量"这类题目，这类题目只占整个测试集的15.3%。排除这部分题目后，剩下847道题目的提升只有1.4个百分点，这个幅度已经落在正常的随机波动范围内。研究者进一步检查发现，模型在这类题目上的推理过程其实经不起推敲，比如列举了三次提及的词，却给出答案"五"，逻辑链条根本接不上。

数学视觉推理任务MathVista上也发现一个小瑕疵：有49道关于"照片中两人年龄差"的题目，训练后的模型在全部49道题上都回答"0"，其中只有一道题恰好标准答案就是0，但模型给出的理由是编造的"这是同一个人"，用图片核实后发现完全站不住脚。不过这个问题只影响最终62道净提升题目里的1道，影响范围很小。

把这些瑕疵写进论文里，而不是藏起来，这个做法值得称道。毕竟用模型自己生成的信号去训练模型自己，天然存在"自我强化错误"的风险，没有外部的人工校验环节，系统完全可能在某个狭窄场景上学到一条投机取巧的捷径，而不是真正学会推理。论文把这种风险摆在明面上讨论，比起只报喜不报忧的论文，多了一份值得信任的分量。

这件事也给所有做"自监督/自训练"系统的人提了个醒：模型自己给自己打分这件事，天生带着作弊的可能性，必须主动去审计，而不是等着准确率数字说话。

写在后面

读完这篇论文，最触动我的其实不是那个76.67%的数字，而是那个关于"可及梯度能量"的发现：同样大小的参数空间，放在不同位置，训练效果能差出天壤之别。这颠覆了我一直以来的一个默认假设，就是"参数量=能力上限"。原来在同样的参数预算下，位置比数量重要得多。

这让我联想到另一件事：人类学一门新技能的时候，是不是也存在类似的"高效学习位点"？比如学一门外语，很多人花大量时间死记硬背单词表（相当于调整全部参数），但真正让口语进步最快的，往往是反复练习那几个最常用的句型结构（相当于调整某个高梯度能量的小子空间）。这个类比可能过于浪漫化，但论文里这个发现确实让我重新思考"高效学习"到底是关于投入多少，还是关于投入在哪里。

论文里还有个没完全展开的问题，就是这套方法对训练数据规模的敏感度。论文里训练集只有500道题，而且训练集和测试集是同一批题目（按TTRL的范式设计），这在实践中其实挺少见的，大部分真实部署场景面对的是源源不断的新问题流。如果换成在线、持续到来的新题目，这套"10万参数+多数投票"机制能不能持续稳定地工作，而不会在某个阶段突然崩掉，这是个很值得追问但论文没完全回答的问题。

下次当你觉得一个系统需要"大改"才能进步的时候，不妨想想这10万个偏置参数的故事。有时候，真正卡住进步的不是改动空间太小，而是你没找对该改的那个地方。

Q&A

Q1：无标签偏置调整测试时强化学习是什么？

A：这是论文提出的方法，核心是在大模型完全冻结的状态下，只训练约10万个MLP层的偏置参数，用模型自己生成的多次答案做多数投票作为奖励信号，完全不依赖人工标注数据，就能让模型在数学、图文、语音等多种推理任务上明显进步。

Q2：只调整10万个参数真的能让大模型变聪明吗？

A：论文用实验证明可以，在Qwen2.5-7B上这套方法把数学题准确率从45.9%提升到76.67%，关键不在参数数量多少，而在于调整的位置是否能接收到足够多的有效训练信号，论文称之为可及梯度能量。

Q3：这种自训练方法会不会让模型学到错误的捷径？

A：确实存在这个风险，论文审计发现语音任务里三分之二的提升来自一个很窄的题目类型，模型的推理逻辑经不起推敲，论文坦诚披露了这个局限，提醒使用者必须对自训练系统的提升做针对性审计。