马里兰大学等机构研究：让AI自己设计AI的"思考策略"，推理效率提升近70%

这项由马里兰大学、弗吉尼亚大学、华盛顿大学圣路易斯分校、北卡罗来纳大学、谷歌和Meta等多家机构联合开展的研究，以预印本形式于2026年5月8日发布在arXiv平台，论文编号为arXiv:2605.08083。感兴趣的读者可通过该编号查找完整原文。

当你向一位朋友请教一道难题时，他有两种方式帮你：第一种是直接告诉你答案，第二种是先自己多想几遍，综合多个思路后再给你一个更可靠的答复。大型语言模型（也就是那些能写文章、做数学题的AI）面临的问题也类似。研究人员很早就发现，如果在给AI出题的时候允许它"多想一会儿"——比如让它生成好几个不同的解题过程，再从中挑出最好的——AI的表现会大幅提升。这种在"回答问题的时候多花点计算资源"的方法，专业上叫做"测试时扩展"（Test-Time Scaling，简称TTS）。

问题在于，怎么分配这些额外的计算资源，一直是个靠人工凭感觉设计的活儿。研究人员得手动规定：什么时候多开几条思路、什么时候砍掉某些思路、什么时候该停下来给出答案。就像厨师按照自己的经验调味，每个人的配方都不一样，而且很难说清楚为什么要这样配。这篇论文的核心贡献，就是提出了一个叫做AutoTTS的框架，让AI自己去发现最有效的"思考策略"，而不再依赖人类的直觉设计。

一、为什么AI的"思考方式"值得专门研究

要理解这项研究解决的是什么问题，不妨用一个备考的比喻来理解整个背景。

高考前，一个学生有一定的时间可以用来备考。他可以选择把所有时间都押在一门学科上，也可以均匀分配，也可以根据自己的薄弱点灵活调整。不同的时间分配策略，最终考出来的成绩会有很大差异。AI在回答问题时面临的是类似的情况：它有一定的"计算预算"，可以选择多生成几条推理路径，或者让某条路径想得更深，或者在中途检查一下当前进展是否值得继续。

现有的做法基本上都是研究人员"拍脑袋"设计的。比如有一种叫做"自我一致性"的方法，就是让AI同时生成64条推理路径，然后用投票的方式选出最多人支持的答案——这就像让64个同学各自独立做同一道题，再看哪个答案出现次数最多。还有一些更复杂的方法，比如根据答案的稳定程度决定什么时候停止生成新路径，或者在生成到一半时"剪掉"那些看起来走偏了的路径。

研究团队把这些方法梳理后发现，它们其实都可以看作是在一个"宽度-深度"平面上移动的不同轨迹。宽度代表同时探索多少条推理路径，深度代表每条路径被延伸了多远。64路自我一致性就是宽度拉满、深度固定的一个点；有些方法只调整宽度；有些方法只增加深度；还有一些方法会先开宽、再剪枝、再深化。把这些方法放在同一张图上，它们就像是在棋盘上走出的不同路线。

这个视角揭示了一个关键洞察：这些方法都是人工设计的"特殊案例"，而背后存在一个更广阔的、未被充分探索的空间。既然都是在同一个空间里走路，为什么不让AI自己去找最优路线呢？

二、AutoTTS框架：让AI来设计AI的思考策略

AutoTTS的核心思路可以用"建造游乐场，而不是亲手玩游戏"来理解。

过去，研究人员做的事情是：直接设计一套思考规则，然后交给AI使用。AutoTTS改变了这件事的分工：研究人员负责搭建一个"环境"——定义AI可以做哪些动作、环境的状态是什么、什么叫做好的结果——然后让另一个AI（探索者）在这个环境里自动寻找有效的策略。

这个框架在设计上有几个非常重要的技术决策，每一个都是为了解决实际的工程难题。

首先是"离线回放环境"的构建。评估一个思考策略好不好，通常需要实际运行AI来生成推理过程，这非常耗时耗钱。AutoTTS的解决方案是事先把所有可能用到的推理数据都收集好：对每道题，提前让AI生成128条完整的推理路径，每隔500个词元（token，可以理解为AI处理的最小文字单位）记录一次当前的答案状态。有了这个数据库之后，评估一个策略就不需要再调用AI了——直接在已经存好的数据上"回放"就行，就像用录像带研究足球战术，而不需要每次都重新踢一场比赛。这使得评估成本降低到几乎可以忽略不计。

其次是"单参数化"（论文中称为beta参数化）。在早期试验中，探索者AI倾向于设计出包含十几个可调节参数的复杂策略。参数越多，搜索空间就越大，在有限的搜索轮次内很容易过拟合——也就是说，找到的策略只在用于搜索的那批题目上表现好，换一批题目就失灵了。为了解决这个问题，研究团队强制要求所有策略只暴露一个参数β，其他所有内部参数都必须是β的确定性函数，而且随着β增大，策略必须系统性地变得"更愿意花更多计算资源"。这就像给厨师规定：只能用"辣度"一个旋钮来调整整道菜的味道，而不是让他自由调节盐、糖、醋、辣椒各自的用量。这个约束极大地简化了搜索难度，也让发现的策略更加稳健。

第三个关键设计是"执行轨迹反馈"。仅仅告诉探索者AI"这个策略的准确率是X%，花了Y个词元"，信息量太少——就像只告诉厨师"这道菜不好吃"，而不告诉他哪里出了问题。为此，系统会记录每个策略在每道题上的完整决策过程：什么时候开了新路径、什么时候剪掉了某条路径、什么时候选择继续深化。这些细节被完整地反馈给探索者AI，让它能够诊断出失败的具体原因，从而提出更有针对性的改进。

三、搜索过程：五轮对话，价值39.9美元

整个搜索过程的运作方式类似于一场五轮的头脑风暴会议，只不过参与者是AI。

搜索使用的题库是AIME24（美国数学邀请赛2024年真题），这是一套对AI来说相当有挑战性的数学竞赛题目。探索者AI是Claude Code（一款擅长编程的AI助手）。每一轮，Claude Code都会查看之前所有策略的评估结果和执行轨迹，分析哪些地方做得好、哪些地方存在问题，然后直接修改代码提交一个新的策略。新策略立刻在离线回放环境中被评估，结果和轨迹再次反馈给Claude Code，进入下一轮。

五轮结束后，研究团队选出在AIME24上表现最好的策略，固定下来，然后在从未参与搜索的题目上测试它的泛化能力。整个过程总共花费了39.9美元和160分钟。相比于人工设计需要的大量试验和调整，这个代价极低。

从搜索过程的轨迹图可以看到一个有趣的演化过程。第一轮提出的策略过于激进地削减计算，准确率因此大幅下降。观察到这个问题后，第二轮策略显著增加了计算预算，准确率回升。此后的几轮交替进行效率优化和准确率提升，整体轨迹朝着更好的"准确率-计算量"权衡点移动，而不是单纯追求某一个指标。

四、被发现的策略：四种人类没有想到的机制

最终被发现的策略被研究团队命名为"置信度动量控制器"（Confidence Momentum Controller，CMC）。分析这个策略的内部逻辑，可以发现四个在人工设计的方法中从未出现过的机制。

第一个机制是"基于趋势的停止"。人工设计的方法通常用"当前时刻的答案一致程度"来决定是否停止——比如，如果现在有90%的路径都给出了同一个答案，就停下来。但CMC使用的是一个"指数移动平均"（EMA，可以理解为一种平滑处理，让最近几轮的信息比更早之前的信息更有分量）来追踪置信度的变化趋势。它的停止条件是：置信度平均值足够高，而且这个平均值没有在下降。这意味着系统不会因为某一轮恰好出现了集中的答案而过早停止——它需要确认这种集中是稳定的，而不是昙花一现。

第二个机制是"宽度与深度的耦合控制"。在CMC中，是否要新开推理路径（增加宽度）和是否要继续深化现有路径（增加深度）不是独立决策，而是通过同一个置信度趋势信号相互关联的。当置信度趋势强劲上升时，说明现有路径正在产生有用的信息，不需要新开路径；当趋势停滞或下降时，说明当前路径陷入瓶颈，这时应该新开更多路径来引入新的视角。这形成了一个自动反馈回路，而人工设计的方法通常对宽度和深度的控制是相互独立的。

第三个机制是"对齐感知的深度分配"。CMC把所有活跃的推理路径分成三类：与当前主流答案一致的路径、持续给出不同答案的路径，以及中性路径。对齐路径会获得更多的推理步骤，因为它们正在为最可能正确的方向贡献信息；中性路径获得标准的一步推进；偏离路径同样只获得一步推进，但如果连续多轮都与主流答案不同，就会被放弃。这种差异化的资源分配让计算更集中在"有希望的方向"上。

第四个机制是"保守的路径放弃"。CMC不会轻易放弃一条路径，必须连续多轮保持偏离才会触发放弃，而且无论如何都会保留至少两条活跃路径。这种保守性防止了在信息不足时过早收窄探索范围。

这四个机制协同工作，形成了一个比任何现有人工设计方法都更复杂的协调系统。研究团队指出，这种复杂度已经超出了人类直觉设计所能合理达到的边界。

五、实验结果：在多个场景下超越人工方法

研究团队在四个不同规模的Qwen3系列模型（参数量分别为0.6B、1.7B、4B、8B，B代表十亿）上评估了AutoTTS发现的策略，同时测试了三个从未参与搜索的题库：AIME25（2025年数学竞赛题）、HMMT25（哈佛-麻省理工数学锦标赛2025年题目）和GPQA-Diamond（研究生级别的科学问答）。对比的基线包括四种人工设计的方法：自我一致性（SC@64）、自适应停止采样（ASC）、早停自我一致性（ESC）和并行探测（Parallel-Probe）。

在准确率-计算量的权衡上，AutoTTS发现的策略在大多数场景下都优于所有人工基线。以1.7B规模的模型在AIME25上的结果为例：所有人工方法的准确率都在44.4%附近，而AutoTTS在β=1.0时达到了49.0%，提升了近5个百分点，同时使用的词元数量（592.6万）与人工方法相比也处于合理范围。在β=0.5的低预算设置下，准确率为46.7%，词元数量仅为327.9万，比SC@64的1054.1万减少了将近70%，但准确率反而更高。

在8B规模的模型上，AutoTTS在β=0.5时就能以255.3万词元达到84.3%的AIME24准确率，而SC@64需要910.8万词元才能达到80.4%。换句话说，用不到三分之一的计算量，获得了更高的准确率。

在泛化测试中，策略被用于DeepSeek-R1-Distill-Llama-8B（一个完全不同架构的模型）时，在HMMT25上同样超过了所有人工基线，说明发现的策略不是针对特定模型过度拟合的结果。在GPQA-Diamond这个非数学类任务上，AutoTTS同样表现出色，β=0.5时仅用151万词元就达到了41.6%的准确率，而SC@64需要510万词元才达到41.3%。

研究团队还做了消融实验来验证各个设计选择的必要性。去掉单参数化约束后，发现的策略出现严重过拟合，词元使用量从57.5万骤降至9.3万，但准确率从53.1%下降到49.0%——意味着策略学会了用极少的计算来"蒙"答案，而非真正解题。去掉执行轨迹反馈后，策略无法有效诊断失败原因，最终使用了过多的词元（82.4万 vs 57.5万）但准确率更低，说明单纯的"结果好不好"反馈是不够用的。

六、这项研究意味着什么

归根结底，这项研究做了一件在技术上听起来有些绕圈子、但实际上非常重要的事情：用AI来帮助设计让AI更聪明的方法。

过去，研究人员设计一套新的推理策略，需要大量的专业知识、试错和调参。AutoTTS把这个过程变成了一个可以自动化执行的流程。更关键的是，它改变了人类需要投入精力的地方：不再是设计具体的策略，而是设计"发现策略的环境"。就像从亲手画地图，变成了搭建一套制图系统——后者一旦建好，就可以反复使用，而且能探索人类手绘地图时永远不会想到的区域。

对普通用户来说，这项研究的直接影响是：未来使用AI工具时，相同的计算成本可以换来更准确的回答，或者同样的准确率只需要更少的计算成本（也就是更快、更便宜的服务）。对AI领域的研究人员来说，这个框架为"如何有效利用推理时的计算资源"这个问题提供了一种新的研究路径。

当然，这项研究也有明确的局限性。当前的实例化只涉及宽度和深度两个维度的控制，现实中的AI推理空间远比这复杂，比如树形搜索、验证器引导的迭代改进等方向都没有纳入。此外，搜索过程依赖Claude Code这样的前沿编程AI，如果换成开源模型能否取得类似效果，目前还不清楚。

这项研究提出了一个有趣的思考方向：如果连"如何设计策略"这件事都可以交给AI自动完成，那下一步会不会是让AI自动设计"发现策略的环境"本身？这种递归式的自我改进路径，目前还远远没有被完全探索。有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2605.08083在arXiv平台查阅完整论文和开源代码。

Q&A

Q1：AutoTTS框架和人工设计推理策略相比，主要优势是什么？

A：AutoTTS的主要优势有两点。第一是搜索效率极高，整个发现过程只需39.9美元和160分钟，因为它用离线预收集的推理数据来评估策略，不需要反复调用AI生成新内容。第二是能发现人类直觉想不到的策略，比如最终发现的CMC控制器包含四种协同工作的机制，这种复杂度超出了人工设计的合理边界。

Q2：beta参数化在AutoTTS中起什么作用？

A：beta参数化是一种约束机制，强制要求所有策略只暴露一个参数β，其他所有内部参数都必须是β的确定性函数。这样做的目的是防止过拟合——参数越多，策略越容易只在搜索用的题目上表现好，换题就失灵。单参数化大幅缩小了搜索空间，让发现的策略更稳健，能够泛化到没见过的题目和模型上。

Q3：AutoTTS发现的策略能用于不同类型的AI模型和任务吗？

A：实验结果表明可以泛化。研究团队把在Qwen3系列模型上发现的策略，直接用于DeepSeek-R1-Distill-Llama-8B这个完全不同架构的模型，以及GPQA-Diamond这个非数学类的研究生科学问答任务，表现均优于或持平于人工设计的基线方法，说明策略具备一定的跨模型、跨任务泛化能力。