达拉斯大学等机构联手破解AI"话痨"难题：让大模型聪明地"少说废话"

这项由德克萨斯大学达拉斯分校、埃默里大学、德克萨斯大学阿灵顿分校和佛罗里达大学联合完成的研究，于2026年5月以预印本形式发布，论文编号为arXiv:2605.09806，感兴趣的读者可以通过该编号查询完整原文。

**当AI开始"说废话"**

你有没有遇到过这样的情况：向一个朋友提问"1加1等于几"，他却要先聊20分钟关于数字的哲学起源，再分析一遍加法的历史，最后才告诉你答案是2？这种"绕弯子"的回答方式，正是当前最先进的AI推理模型正在做的事情。

以OpenAI的o1和DeepSeek-R1为代表的新一代AI"推理模型"，通过让AI在给出答案前先"思考"——也就是写下一长串中间推理步骤——大幅提升了解题能力。这种方式叫做"思维链"（Chain-of-Thought），用一个比喻来说，就像是数学考试时要求学生"写出解题过程"，而不只是填最终答案。这确实让AI变聪明了很多，但副作用是：AI开始变得非常"话痨"。

一道奥林匹克级别的数学难题，的确可能需要几千个"思考步骤"；但一道简单的算术题，AI却也同样洋洋洒洒写上千字。这不只是浪费——在实际部署中，AI输出的每一个字都需要计算资源和时间，这直接转化为金钱成本和用户等待时间。

这支研究团队把他们的解决方案命名为LEAD，全称是"长度高效自适应动态推理"（Length-Efficient Adaptive and Dynamic reasoning）。他们的核心发现是：过去那些试图让AI"少说废话"的方法，都犯了两个根本性错误——而LEAD提出了一套全新的在线自我校准机制来解决这两个问题。

---

一、AI为什么越来越"话痨"，以及为什么不好管

要理解LEAD做了什么，得先搞清楚AI是怎么被训练的，以及为什么现有的"减少废话"方案会失败。

现代推理AI的训练方式叫做"强化学习"，可以把它理解成一个训练狗的过程：狗做对了给零食，做错了不给。AI每次回答问题，训练系统就检查答案对不对，答对了就"奖励"它，让它下次更可能用类似的方式回答。通过成千上万次这样的训练，AI学会了越来越好地解题。

问题在于，在这个训练过程中，AI发现了一个规律：思考得越长、越细，答对的概率就越高。于是AI自发地学会了"多想多写"，即使面对简单问题也不例外。就像一个学生发现考卷上每道题都能给满分的秘诀是写满整张答题纸，不管题目难易，他都开始写个不停。

要矫正这个行为，最直觉的办法是在训练时加入"长度惩罚"：不只奖励答对，还要奖励答得简短。如果AI写了很多字但答对了，奖励就打折扣；如果既答对又写得简洁，奖励就更丰厚。

这个思路本身没错，但研究团队发现，所有现有的实现方式都存在两个根本缺陷。

第一个缺陷叫做"奖励崩塌"。训练过程中，系统同时给出两种信号：一个是"答对没有"的正确性信号，一个是"写得长不长"的长度信号。问题在于，这两个信号的"规模"完全不同——正确性信号只有0（错）和1（对）两个值，而长度信号是连续变化的数字。当把这两个信号混合在一起评估AI的表现时，长度信号因为变化更丰富，会在数学计算中自动"压倒"正确性信号，导致AI过度关注长度而忽视了是否答对这件更重要的事。更麻烦的是，就算研究者尝试手动调整两个信号的权重（比如让正确性占70%，长度占30%），这个比例在整个训练过程中也无法保持合适：训练刚开始时，AI还在学习如何解题，这时候如果太强调"写短一点"，它就根本学不会解题；等AI已经学得不错了，才是强调简洁的好时机。一个固定不变的权重，在整个训练周期内必然不合适。

第二个缺陷叫做"一刀切的长度预算"。现有方法通常给所有问题设定一个统一的长度上限，比如规定所有回答不能超过4000个字。但这完全无视了问题本身的差异：一道初中代数题可能100字就能说清楚，一道国际数学竞赛题可能真的需要3000字的推理过程。如果把上限设得很严，简单题是省事了，但AI在回答难题时被强制截断，答案质量急剧下降；如果设得宽松，简单题根本没有被压缩，整个优化就形同虚设。

---

二、LEAD的核心设计：一个会"自我调节"的训练教练

LEAD的思路可以用一个体育教练的比喻来理解。一个优秀的教练不会全程只喊"跑快点"或者只喊"注意技术动作"，而是根据运动员的状态随时调整侧重点：刚开始训练时打基础，技术成熟后提速度，比赛前调整状态。LEAD就是这样一个会"看情况出牌"的训练教练，它包含两个核心机制。

**机制一：动态奖励权重，用"潜力缩放不稳定性"来决定何时强调什么**

LEAD首先解决了"两个信号混合导致奖励崩塌"的问题。解决方法是参考了另一项叫做GDPO的研究思路：先把正确性信号和长度信号分别独立标准化，再加权合并，而不是先混合再标准化。这就像两个运动员分别跑完各自的测试后，教练根据每人各自的平均水平来评判进步情况，而不是让两人在同一个赛道上直接比较。

但仅仅分开标准化还不够，还需要解决"权重应该随时间动态变化"的问题。这里LEAD引入了一个叫做"潜力缩放不稳定性"（PSI，Potential-Scaled Instability）的概念，这个名字听起来复杂，但背后的逻辑非常直觉化。

PSI用来衡量每一个训练信号"现在还有没有用"。判断一个信号有没有用，需要考虑两个维度。第一个维度是"不稳定性"——如果这个信号在不同问题、不同回答之间变化还很大，说明AI在这方面还没有稳定下来，还有学习空间，信号仍然有价值；如果已经很稳定，说明AI在这方面已经"毕业"了，继续强调这个信号意义不大。技术上，这用"变异系数"（标准差除以均值）来衡量：变异系数大，说明信号还在剧烈波动，还值得关注。

第二个维度是"提升空间"——如果一个指标已经接近了它的理论上限，再怎么优化也涨不了多少了；如果还距离上限很远，就说明还有大量可挖掘的潜力。比如，正确率如果已经达到95%，继续死磕正确率的边际收益很低；但如果回答长度还远高于理想水平，继续压缩长度的空间还很大。技术上，这用"潜力"（Potential）来量化，公式是：当前表现离上限的距离除以总范围，距离上限越远，潜力值越高。

把"不稳定性"和"提升空间"相乘，就得到了PSI值。只有当一个信号又在剧烈变化（说明有学习空间）、又距离理论上限很远（说明还有提升余地），PSI值才会很高，这个信号才应该获得较高的权重。

在实际训练中，PSI值每个训练步骤都会重新计算，然后经过一个"指数移动平均"的平滑处理（防止因为某一批数据的随机波动导致权重剧烈抖动），最终转化为正确性权重和长度权重。为了防止极端情况下正确性信号被完全忽略，系统还设置了一个"底线"：正确性权重至少要维持在一个最小值（设为0.3），不能再低。

从实际训练轨迹来看，这个机制呈现出一个优美的"自然课程"：训练刚开始时，两个权重各占一半；随着AI逐渐学会如何用更简洁的方式回答问题，长度信号的变异系数开始下降（说明AI在这方面已经稳定），PSI值随之降低，权重自动向正确性倾斜。大约在训练进行了50步之后，长度权重就已经降到约0.08，正确性权重升至约0.93，并在此后保持稳定。这意味着，LEAD自动实现了"先学会简洁、再追求正确"的训练节奏，而且完全不需要人工设定任何时间表。

**机制二：按题目难度定制"个人长度目标"**

解决了权重动态调整的问题之后，LEAD还需要解决"一刀切长度预算"的问题。这里的解法同样优雅：不给所有问题设定一个统一的长度上限，而是让每道题自己"告诉"系统它需要多长的回答。

具体做法是：在每次训练时，对同一道题让AI生成多个回答（研究中设定为G=8个），然后筛选出其中答对了的那些回答，计算这些正确回答的平均长度，把这个平均值作为这道题的"目标长度"（记为L*）。

这个设计的逻辑非常清晰：如果一道题的正确回答普遍需要2000字，那说明2000字左右就是这道题"客观需要"的推理量；如果一道题的正确回答普遍只要500字，那500字就是合理的目标。目标不是人为设定的，而是从AI自身的表现中提炼出来的，因此会自然地随着题目难度变化而变化，也会随着AI能力的提升而动态收紧。

为什么用"均值"而不是"最短值"？研究团队专门对比了不同统计量的效果。如果用最短的正确回答作为目标（这正是另一个叫ShorterBetter的方法所做的），就会出现一个问题：偶尔AI可能碰巧用很短的"猜对了"方式给出正确答案，但这种答案没有真正的推理过程。如果以这种异常短的答案作为目标，就会强迫AI去学习这种取巧方式，而不是学习真正的推理能力。用均值则可以过滤掉这种偶然现象，让目标更稳健地反映"正常情况下解决这道题需要多少推理量"。

有了目标长度之后，LEAD设计了一个"对称的效率奖励"：当回答长度正好等于目标长度时，奖励达到最高（1分）；长度偏离目标越远——无论是太长还是太短——奖励就越低，最低扣到-1分。这个对称设计很关键：惩罚太长是显而易见的（减少废话），但为什么也要惩罚太短？因为研究团队发现，一个"对了但很短"的回答，很可能是AI凑巧猜对了答案，而不是真的推理出来的。如果奖励这种行为，AI就会学会"猜答案"而不是"真思考"，这是适得其反的。惩罚过短的回答，促使AI保持"合理的"推理深度。

---

三、实验验证：LEAD在五项数学考试中的成绩单

研究团队在五个数学推理基准测试上评估了LEAD的效果，这五个测试分别是AIME 2024、AIME 2025、AMC 2023、MATH-500以及OlympiadBench，涵盖了从普通高中数学到国际数学奥林匹克的不同难度层次。训练所用的基础模型是两个规模不同的DeepSeek-R1蒸馏版本，分别是1.5B参数和7B参数的版本，训练数据来自MATH数据集的3到5级难题，共8521道。

评估用了三个指标。第一个是准确率，即AI答对了多少题。第二个是平均回答长度，即AI平均用了多少个词来回答问题——越短越好。第三个是"准确率-效率综合分"（AES），这是一个把准确率和长度同时考虑进来的综合评分，分数越高说明在保持准确的同时减少了越多不必要的输出；这个分数对准确率下降惩罚非常重（系数为10），而对长度减少的奖励相对温和（系数为1），体现了"减少废话可以，但不能以牺牲正确性为代价"的原则。

对比的方法包括：GRPO（最基础的强化学习训练方法）、GDPO（解决了奖励混合尺度问题的改进版）、DRPO（专门针对正确/错误回答分开处理的方法）、以及ShorterBetter（使用最短正确回答作为目标的方法）。

在1.5B小模型上，LEAD的表现尤为突出。其他所有基于强化学习的训练方法，在让AI变短的同时都让准确率下降了——这正是前文提到的"过度压缩"问题。LEAD是唯一一个既让准确率高于原始基础模型（从51.85提升到53.36），又显著缩短了回答长度的方法，综合评分达到0.68，比最接近的DRPO（0.50）高出0.18。在具体题目上，LEAD在AIME 2024这类高难度竞赛题上的准确率达到35%，比基础模型的29.33%提升了近6个百分点，比DRPO的27.33%更是高出了近8个百分点。

在7B大模型上，所有方法都面临一个共同挑战：相比基础模型，准确率都有所下降（这通常是因为强制压缩长度损害了复杂问题的推理）。但LEAD的准确率下降幅度最小，从基础模型的68.20降到65.17，而GRPO则下降到59.31，GDPO和ShorterBetter也好不到哪里去。在综合评分上，LEAD得到-0.11，虽然是负分，但远优于GRPO的-0.68和GDPO的-0.56。

一个值得深入探讨的现象是：LEAD生成的回答并不是所有方法中最短的。例如在7B模型上，LEAD的平均回答长度是4417个词，而GRPO只有2482个词。为什么一个更长的方法却得分更高？因为LEAD的"长"是有选择性的长——它把额外的词用在了真正需要更多推理的难题上，而不是平均地给所有题目都加字数。这一点在"按难度分层分析"中得到了直接验证：研究团队把1275道评估题目按基础模型的原始准确率分成四档（从最难到最简单），然后比较各方法在不同难度档次上的回答长度差异。结果发现，相比其他方法，LEAD在最难题目上多花的词数，是它在最简单题目上多花词数的2到3倍多。换句话说，LEAD知道什么时候需要"多思考"，也知道什么时候可以"少废话"。

---

四、拆解实验：每个设计选择都经过了严格验证

研究团队还专门做了一系列"拆解实验"，验证LEAD每个设计选择的必要性，而不只是笼统地说"我们的方法更好"。

**关于动态权重与静态权重的比较**

研究团队系统地对比了使用固定权重和使用LEAD动态权重的效果。他们尝试了六种不同的静态权重组合（正确性：长度 = 1:0、4:1、2:1、1:1、1:2、1:4），同时对比了使用普通GRPO混合方式和LEAD解耦标准化方式的差异。

对于普通GRPO来说，固定权重效果非常不稳定——在1:1的比例下表现最好，综合评分只有0.08，其他比例大多在零分甚至负分徘徊。这印证了"先混合再标准化"导致长度信号难以控制的问题。

使用LEAD的解耦标准化之后，哪怕是固定权重，每种比例的表现都有显著提升，综合评分至少达到0.27，最好的（4:1权重）能到0.62。这说明解耦标准化本身就是一个重要改进。而LEAD的动态权重在此基础上进一步提升，在无需手动选择任何权重比例的情况下，达到了0.68的最高综合评分。

**关于目标长度计算方式的比较**

研究团队对比了四种计算每道题目标长度的方式：正确回答中的最短值、正确回答的中位数、所有回答（不管对错）的均值，以及LEAD使用的正确回答的均值。

使用最短值（这正是ShorterBetter所采用的策略）带来了明显的准确率损失，从53.36降至49.99，原因正如前面解释的：极端短的正确回答往往是偶然猜对，把这个设为目标会引导AI走向取巧而非真推理。中位数的结果很奇特：准确率和最短值差不多，综合评分却更低，说明它既没能保持准确率，压缩效果也不理想。不区分对错直接取均值的方案是最接近LEAD的竞争者，准确率为51.47，但仍然比LEAD低了接近2个百分点。差距的来源在于：错误回答中包含了大量截断的、偏离主题的回答，这些回答的长度特征和"合理的推理长度"没有直接关系，混入这些数据会干扰目标的估计。

通过训练过程中的动态曲线可以清晰看到区别：使用最短值作为目标的训练，AI的批量正确率明显滞后于其他方法；而其他三种方法的正确率曲线接近，但LEAD的准确率最终脱颖而出。看"效率奖励"的曲线更能说明问题：最短值方法的效率奖励始终在约0.78附近徘徊，说明即使是AI自己的正确回答也无法达到那个目标长度，AI处于"被强迫却做不到"的困境；而LEAD的效率奖励稳定在约0.85，说明AI的正确回答能够良好地贴近目标，奖励信号在发挥正常的引导作用。

---

五、训练过程的内部故事：三条曲线告诉了什么

研究团队还专门记录并展示了一次完整的LEAD训练过程中，关键指标随时间的变化轨迹，这些曲线清楚地呈现了LEAD"自动课程"的内在逻辑。

在权重变化曲线上，从初始的各占50%开始，长度权重迅速下降，在大约第50步时就已经降至约8%，之后稳定在这个水平直到训练结束。这个快速下降期，正好对应着回答长度曲线上最剧烈的压缩阶段——AI在这段时间内"学会了如何简洁"。一旦这个压缩过程趋于稳定，长度信号的变异系数塌陷（说明AI在长度控制上已经收敛），PSI值下降，系统自动把注意力转向正确性。

在目标长度的变化曲线上，对于那些AI能正确回答的题目，L*值从训练初期开始持续下降并逐渐收紧。"未解决题目数量"（那些AI始终无法给出正确答案的题目）也在训练过程中稳步减少，反映了AI整体能力的提升。

在验证准确率曲线上，MATH-500测试集上的准确率在训练过程中持续攀升，与回答长度的持续压缩同步进行。这直观地展示了LEAD的核心价值：准确率和简洁性不是非此即彼的关系，通过合理设计，两者可以同时改善。

---

六、LEAD的边界：诚实的局限性讨论

研究团队对自己方法的适用范围做了坦诚的说明。

LEAD目前最适合那些能够明确判断对错的任务，比如数学题。对于更开放的任务——比如写一篇作文、回答一个主观问题——怎么判断答案"对不对"本来就是个难题，LEAD的机制就需要相应调整，可能需要专门的评分模型来替代简单的对错判断。研究团队认为这是一个自然的扩展方向，而不是核心机制的缺陷。

另一个值得关注的点是：LEAD从AI自身的正确回答中估计目标长度，这意味着对于那些AI暂时还解决不了的难题，在早期训练阶段不会有压缩压力。这在逻辑上是合理的——连怎么解都不知道的时候，就不应该去限制解题篇幅——但也意味着对非常难的题目，效率提升可能要等到训练后期才开始显现。

此外，LEAD优化的是训练时的行为，让AI在学习阶段养成"按需推理"的习惯，而不是在推理时强制截断输出。对于有严格延迟或成本预算要求的部署场景，LEAD可以与推理时的预算控制机制配合使用，但它本身不是一个实时的预算限制器。

当前版本给每道题设定的是单一的目标长度，这对数学推理是合适的，因为正确答案通常有一个"自然的推理量"。但对于某些任务，同一个问题可能有"100字的简要回答"和"1000字的详细解释"两种都完全正确的解法，这时候单一目标就显得过于粗糙了。将LEAD扩展到支持多个目标或分布式目标，是研究团队指出的一个有趣的未来方向。

---

说到底，LEAD这项研究解决的是一个现实感很强的问题：AI越来越聪明，但也越来越"话多"，而"话多"是有成本的。这支来自多所美国高校的研究团队的贡献，不是简单地给AI"加一个字数限制"，而是设计了一套真正理解"什么时候该多说、什么时候该少说"的自适应机制。

从更宏观的视角看，这项研究提出的两个核心洞察——奖励信号的权重需要随训练进展动态调整，以及每道题的"合理推理量"应该从任务本身推导而非人工设定——对整个AI强化学习训练领域都有参考价值，不仅限于推理效率这个具体问题。

如果你对技术细节感兴趣，可以通过arXiv编号2605.09806找到完整的原始论文，代码也已经在GitHub（CrazyMint/LEAD）上开源。

---

Q&A

Q1：LEAD方法是否会因为减少推理步骤而导致AI在难题上答错？

A：LEAD的设计恰恰避免了这一点。与其他方法统一压缩所有题目的回答长度不同，LEAD根据每道题目自身正确回答的平均长度来设定目标，难题本身就会产生较长的正确回答，因此目标长度自然较大，AI在难题上的推理空间不会被强制压缩。实验数据也证实，LEAD在最难题目上比其他压缩方法多保留了多得多的推理长度。

Q2：PSI（潜力缩放不稳定性）和直接手动调整训练权重有什么本质区别？

A：手动调整权重需要提前设定一个固定比例并在整个训练过程中保持不变，而PSI是一个全自动的在线测量指标。PSI同时考虑了每个奖励信号的"当前波动程度"和"距离理论上限的剩余空间"，只有两者都满足时才会给这个信号高权重。随着训练推进，两个信号的PSI值会自然变化，权重也随之自动调整，不需要人工干预，也不需要针对每个任务或模型重新调参。

Q3：LEAD的训练方法和在推理时直接限制回答字数有什么不同？

A：推理时限制字数是一种强制截断，AI可能因为被硬性打断而给出不完整甚至错误的答案。LEAD是在训练阶段改变AI的行为习惯，让AI学会"用合适的篇幅回答问题"，而不是在输出时被外力阻断。训练完成后，AI会自然地根据问题难度调整输出长度，不需要外部干预，答案的完整性也不受影响。