IQuest研究院的AI推理突破：给大模型装上"团队协作大脑"，让难题迎刃而解

这项由IQuest Research联合北京航空航天大学开展的研究，以预印本形式发表于2026年5月，论文编号为arXiv:2605.10344v1，有兴趣深入了解的读者可以通过该编号在arXiv平台上查询完整论文。

研究概要：当一个AI脑子不够用，何不派一支队伍来？

当你面对一道极难的数学题时，一个人绞尽脑汁往往不如几个人分工协作来得高效。一个人先尝试，另一个人检查错误，第三个人总结经验，第四个人记录下"这条路走不通"的教训——这种团队分工的智慧，研究团队将它搬进了人工智能领域。

这项研究要解决的核心问题，说白了就是：怎样让大型语言模型（就是ChatGPT这类AI）在解答真正困难的问题时，越想越聪明，而不是原地打转？研究团队提出了一个叫做TMAS的框架，全称是"通过多智能体协同扩展测试时计算"。这个名字听起来拗口，但背后的思路其实相当直观：与其让一个AI单打独斗，不如组建一支分工明确的AI专家团队，让它们互相协作、共享经验、避免重复犯错。

研究成果相当亮眼。在国际数学奥林匹克水平的难题测试中，TMAS框架配合专门训练后的模型，其表现甚至让一个只有40亿参数的小模型缩小了与300亿参数大模型之间近六成的差距。换句话说，这套团队协作机制让"小个子"AI打出了接近"大个子"AI的水准。

---

一、AI解题为什么会"原地转圈"？

在正式介绍这套协作机制之前，先来理解一下AI推理到底难在哪里。

目前主流的做法是让AI在回答问题时多想一会儿——生成更长的推理过程，或者同时尝试多条思路再投票选出最佳答案。这就像考试时不要只写第一个想到的答案，而是先打草稿、多想几遍。这个方向确实有效，但遇到真正的难题时，问题出现了。

一条思路走错了，AI往往不知道自己错在哪里，只是一遍又一遍地重复类似的错误逻辑。另一种情形是，AI生成了很多条不同的解题路径，但这些路径之间互相隔离、毫无交流——左手做的事情右手完全不知道，每次尝试都从零开始，之前积累的任何有用信息全部白白浪费。

还有一种更微妙的困境：有些AI系统会把所有历史尝试的记录都塞给模型，让它"参考过去"。然而这些历史信息里夹杂着大量错误和噪音，模型反而被这些杂乱信息干扰，搞不清楚哪些是真正有价值的经验，哪些是需要回避的弯路。

用一个更贴近生活的比方来说：这就像一个学生反复做同一道错题，每次都能看到自己以前的草稿，但草稿里全是密密麻麻的涂抹和错误计算，没人告诉他哪一步算对了、哪一步的思路根本行不通。结果他越看越乱，进步极为有限。

TMAS框架要解决的，正是这三个核心困境：智能体之间缺乏协同、记忆管理混乱、以及探索与利用之间的失衡。

---

二、组建一支AI专家团队：五位各司其职的"智能体"

TMAS的核心设计思路，是把解题过程拆分给五种不同角色的AI智能体，让它们像一个运作良好的研究小组一样协同工作。

第一位是**解题员**，负责在每一轮中并行生成多条候选解题方案。它不是一个人苦思冥想，而是同时开辟八条不同的思路，就像派八个侦探同时去不同方向调查案件线索。

第二位是**核查员**，负责对每一条候选答案进行独立评估。对于每个解题方案，核查员会进行多次独立审查，给出详细的反馈意见和评分——满分代表完全正确，半分代表方向正确但细节有缺陷，零分代表存在致命错误。核查员的独立性很重要，就像法院里的陪审团制度，多个独立意见比一个人的裁决更可靠。

第三位是**总结员**，负责把核查员的多份评审意见汇总成一份简洁的报告，指出这条解题路径哪里走对了、哪里还存在问题。这份报告既不是冗长的原始评审，也不丢失关键信息，而是精炼的摘要。

接下来是最关键的两位——**经验员**和**指南员**，它们共同构成了TMAS框架中最具创新性的"分层记忆系统"。

经验员管理的是**经验库**，专门存储低层次的、具体的、可以直接复用的推理片段。比如，在某一轮尝试中，有一个解题步骤经过核查确认是正确的中间结论，经验员就会把它提炼出来存入经验库，并加上标注："这一步已经验证正确，下次解题可以直接从这里出发，不需要重新推导。"经验库里还会记录"陷阱警告"——某种看起来合理但实际上会导致错误的推理模式，下次遇到类似情形时要主动规避。

指南员管理的是**指南库**，存储的是高层次的、宏观策略层面的信息。每一轮尝试用了什么整体思路、什么数学框架、从哪个角度切入——这些都会被提炼成简洁的"策略记录"存入指南库。指南库的用途不是直接告诉解题员"抄这个答案"，而是告诉它"这些方向我们已经探索过了，你应该去开辟新的路径"。

这两种记忆的差异，用一个比方来说就很清晰了。假设一组侦探在调查一桩案件，经验库存的是"3号房间的指纹已确认属于嫌疑人甲，可以直接作为证据使用"这类具体事实；而指南库存的是"从监控录像角度入手的调查路线我们已经走过，没有突破，下一轮应该换个方向"这类策略记录。两者分工不同，共同构成了团队协作的知识底座。

---

三、探索与利用的精妙平衡：不重复走老路，也不忘用好经验

有了这支分工明确的团队，接下来的问题是：每一轮解题时，解题员应该怎么用这些积累下来的信息？

TMAS的设计是这样的：每生成一条新的候选解题方案时，系统会做一次随机决策。大约八成的时间，解题员会参考经验库和上一轮的完整尝试记录，在已有基础上进行精炼和改进——这是"利用"模式，充分发挥积累的经验价值。另外两成的时间，解题员则只看指南库，知道哪些方向已经尝试过，然后刻意去探索一条全新的思路——这是"探索"模式，防止团队陷入思维定势。

这个比例是经过实验反复调试的。如果全是"利用"模式，团队会在一条看似不错但实则存在缺陷的思路上越走越深，难以自拔；如果全是"探索"模式，之前积累的所有有效经验就全部浪费了，每次都从零出发，效率极低。研究结果表明，探索比例设为20%时效果最佳——既保持了足够的多样性，又能有效利用已有积累。

这套机制还有一个精巧之处：经验库的内容是随着每一轮迭代不断更新和精炼的。经验员会对新一轮的解题尝试进行分析，把新发现的有用中间结论补充进去，把被新证据推翻的旧条目删除或修正，把表述模糊的条目改写得更清晰。经验库不是一个静止的档案室，而是一个不断进化的知识库。

指南库则只增不减——每一轮尝试过的策略都会被记录下来，这个记录不可抹去，确保后续的探索真正走向新的方向，而不是在无意间重蹈覆辙。

---

四、专门训练让AI更好地融入团队：混合奖励强化学习

仅仅搭建了这套协作框架还不够。研究团队发现，如果直接把一个普通的AI模型放进这个框架里工作，它未必能充分发挥团队协作的优势——它可能根本不会好好利用经验库的内容，也不会真心实意地去探索新方向。

为此，研究团队专门设计了一套训练方案，让AI模型真正学会在这个团队中好好工作。这套训练方案采用的是强化学习方式，通俗地说，就是给AI设计了一套"绩效考核体系"，通过奖励和惩罚来引导它养成正确的工作习惯。

这套绩效考核体系包含三个相互补充的维度。

第一个维度是最基础的：答案对就给奖励，答案错就给惩罚。这保证了AI的核心能力不会退化——毕竟解题准确率才是最终目标。

第二个维度专门针对经验库的使用情况。研究团队设计了一个巧妙的比较机制：对同一道题，让一组AI只看历史解题记录来回答，同时让另一组AI既看历史记录又额外获得经验库信息。如果一道题在没有经验库时很难解对，但有了经验库之后解对率显著提升，那么成功利用经验库解对的AI就会获得额外奖励。这个奖励的大小还和题目难度挂钩——题目越难、经验库的价值越大，奖励就越丰厚。这样设计的目的是让AI真正学会"在关键时刻依赖经验库"，而不是把经验库当成可有可无的摆设。

第三个维度专门鼓励创新探索。当AI在被明确告知"这些策略已经试过了"之后，还能提出一条全新的解题思路，就会获得额外加分。反之，如果它只是换了个说法重复了一个已经记录在案的失败策略，就会受到惩罚。这样的设计让AI逐渐内化了"创新探索"的意识，而不仅仅是被动地执行指令。

为了让这套训练有效运行，研究团队还需要准备训练数据。他们使用了一个更大、更强的AI模型（DeepSeek-V3.2）来模拟TMAS框架的多轮推理过程，从中提炼出经验库和指南库的示例内容，构建了一套包含约4400条记录的训练数据集。其中约1600条用于训练经验库利用能力，约600条用于训练创新探索能力，另外2200条用于基础解题能力的维护。

---

五、实验结果：小模型追上大模型，越迭代越强

研究团队在两个极具挑战性的数学推理基准测试上对TMAS进行了评估。第一个是从国际数学奥林匹克题库中筛选出的最难50道题（这些题目对于当前AI模型来说确实极为困难），第二个是由人类专业学者出题的"人类最后考试"数学子集，包含100道顶级难度数学题。

作为对比，研究团队测试了几种代表性的竞争方法。其中"多数投票"方法一次性生成64条候选答案然后投票；"自我优化"方法让AI根据自身的前一轮答案不断修改；"验证-精炼"方法加入了独立验证步骤；"PaCoRe"直接把所有历史尝试堆给AI；"RSE"把历史轨迹提炼成正向经验和负向经验。

结果显示，使用300亿参数大模型的TMAS在19轮迭代后，在国际数学奥林匹克题库上达到40.5%的正确率，在人类最后考试上达到35.4%，均高于所有竞争方法的最终表现。更值得关注的是趋势：其他方法的提升曲线在中途就基本趋于平缓甚至下滑，而TMAS的曲线在整个迭代过程中保持持续上升态势，越到后期优势越明显。

配合混合奖励训练后的40亿参数小模型，其表现尤为亮眼。在19轮迭代结束时，它在国际数学奥林匹克题库上达到30.9%的正确率，在人类最后考试上达到28.2%。相比之下，未经过这套专门训练的同等小模型只有17%和17.4%。两者之间的差距非常悬殊，说明这套训练方案对于充分激活TMAS框架的潜力至关重要。

从大小模型之间的差距来看，未经专门训练时，40亿参数模型与300亿参数模型之间在国际数学奥林匹克题库上相差约23.4个百分点；经过混合奖励训练之后，这个差距缩小到9.6个百分点，相对缩小幅度接近六成。在人类最后考试上，差距从18个百分点缩小至7.2个百分点，同样缩小了约六成。这意味着，通过更好地利用迭代计算机制，"小个子"AI可以在解题能力上大幅接近"大个子"AI的水准。

研究团队还专门比较了混合奖励训练与仅用正确率奖励训练（称为"普通强化学习"）的效果差异。数据显示，普通强化学习的模型在迭代初期也有较好表现，但在后期出现了明显的性能下滑和不稳定波动；而混合奖励训练的模型不仅峰值更高，而且在整个迭代过程中表现更加平稳，没有出现后期退化的问题。这个对比有力地说明，专门为探索与利用设计的奖励机制确实解决了普通训练难以克服的深层问题。

---

六、拆开看每个零件：哪些设计真正有效？

为了弄清楚TMAS框架中每个组件的实际贡献，研究团队做了系统的拆解实验，逐一测试去掉某个组件后性能会如何变化。

去掉指南库（也就是不再记录已探索的策略方向）的版本，在迭代早期表现特别差。这说明指南库的主要价值在于**帮助AI在最初几轮就快速找到有效方向**，避免在低效路径上反复浪费计算资源。没有指南库，AI就像一个没有地图的探险者，在已经走过的死路上来回绕圈。

去掉经验库（也就是不再存储和复用已验证的中间结论）的版本，则在迭代后期表现明显变弱。这说明经验库的主要价值在于**支撑后期的持续精炼**——当越来越多的有效推理片段被积累下来，后续的解题过程可以在更坚实的基础上推进，而不是每次都要重新推导相同的中间步骤。没有经验库，进步就会在中途停滞。

两个组件同时去掉的版本自然是表现最差的，且明显差于单独去掉任一组件的情形，说明两种记忆机制之间存在协同效应，不是简单相加的关系。

在验证次数的设置上，研究结果显示每个候选答案接受8次独立核查时效果最佳。核查次数太少（比如4次）不够全面，但核查次数增加到16次反而有轻微负效果——过多重复的评审可能引入不一致的噪音信号，反而干扰了整体判断。这个发现提示，在AI系统设计中，"更多监督"并不总是"更好监督"。

在并行解题路径数量上，8条并行路径是一个比较合适的平衡点。路径太少（比如只有2条）严重限制了思路的多样性；路径增加到12条时，额外的思路并没有带来明显的额外收益，反而因为信息量过大而让经验提炼变得困难。

---

七、一个生动案例：经验库如何把错误变成财富

研究团队提供了一个具体的案例，非常清楚地说明了经验库在实战中是如何发挥作用的。

这道题来自人类最后考试题库，问的是用不同形状的瓷砖铺满一个2行4列的棋盘有多少种铺法，瓷砖的种类包括1×2长条形、2×2正方形和2×4长方形三种。

没有经验库的AI在反复尝试中犯了同一个错误：它默认1×2的长条形只能竖着放，不能横着放。基于这个错误假设，它推算出某个关键值等于2，进而得出最终答案是6。更糟糕的是，这个错误被反复强化——到了第19轮迭代时，这个AI甚至在推理过程中明确写出"横向放置是无效的"，把一个错误假设当成了已知公理。

而配备了经验库的TMAS则走出了一条截然不同的路。在第5轮迭代时，大部分解题路径仍然给出了错误的答案6，但其中有一条路径独立发现了长条形可以横着放，并基于这个正确认识推导出那个关键值等于3，最终正确答案是12。

经验员把这条正确路径的关键发现提炼成了经验库中的几条具体记录：第一，那个关键值已通过枚举验证等于3；第二，另一个关键值等于5；第三，正确的递推公式涉及一个系数2，这个系数来自于长条形的两种放置方向；第四，一个明确的陷阱警告——"不要假设长条形只能竖放，这会让那个关键值变成2而不是3，导致最终答案从12变成6"。

从第10轮迭代开始，8条并行解题路径中有4条给出了正确答案12。到第11轮，8条中有7条正确。而没有经验库的对照组在全部20轮迭代中始终是8条全错，一次都没有解对。

这个案例有力地说明了经验库的本质价值：**把一次偶然的成功转化为可以被整个团队复用的永久财富**，同时把一个曾经发现的错误模式转化为所有后续尝试都能主动规避的明确警告。

---

八、一个意外发现：验证者也有盲区

在研究过程中，研究团队还意外发现了一个值得深思的现象，他们把它称为"验证悖论"。

研究团队把所有测试题分成两组：在全部迭代过程中至少有一次解对的题目（称为"曾经正确组"），以及始终没有解对的题目（称为"始终错误组"）。如果验证环节工作正常，对于解错的题目，核查员应该能识别出错误并给出较低的评分，从而引导解题员在下一轮修正方向。

然而实验数据显示，对于未经专门训练的基础模型，"始终错误组"的题目反而得到了比"曾经正确组"更高的核查评分！这个差值具有统计显著性。

这个现象的解释是：当一道题目超出了AI模型整体能力边界时，解题员生成的答案虽然错了，但在表面上可能写得相当工整、逻辑结构看起来很完备。而核查员用的是同一家族的AI模型，它的能力边界和解题员高度重叠——因此，对于那些超出能力边界的难题，核查员同样看不出解题员的错在哪里，反而会给出较高的分数。这就像一个班里最强的学生批改同班同学的卷子，当题目超出全班同学的共同认知范围时，批改者自然也认不出答案里的错误。

经过混合奖励训练之后，这个"始终错误组"得高分的异常现象明显减弱了，两组之间的评分差异缩小到统计上不显著的程度。这说明训练提升了模型整体的推理能力，让更多以前解不对的题目变得可以解对，从而压缩了"超出能力边界"的题目数量。但是，在新的、更高的能力边界上，同样的悖论依然存在——最难的那批题仍然会收到虚高的核查评分。

这个发现揭示了TMAS框架乃至当前所有AI推理系统的一个深层限制：当解题能力和验证能力来自同一个模型家族时，两者的能力天花板是高度一致的，验证机制在最困难的问题上会失去辨别力，进而让经验库和指南库积累的信息质量下降，整个协作系统的自我改进能力受到制约。这也指出了一个清晰的未来研究方向：专门训练更强的验证能力，或者引入专门用于验证的独立模型。

---

归根结底，这项研究告诉我们的是：让AI越想越聪明的关键，不只是让它多想几遍，而是让它**带着团队一起想、有记忆地想、有策略地想**。经验库让团队不重蹈覆辙，指南库让探索不走回头路，专门的训练让每个成员都真正懂得如何利用团队的智慧——三者结合，才构成了真正有效的迭代改进机制。

研究也坦诚地指出了自身的局限：测试尚未覆盖GPT-5.5这类顶尖前沿模型，训练数据的构建依赖外部大模型来模拟推理过程（这个过程可以在未来改进为动态积累），以及验证机制在最极端难题上的内在脆弱性。这些都是值得继续深入的方向。

对于普通读者而言，这项研究最直观的意义或许是：未来的AI助手在帮助你解决复杂问题时，不再只是简单地"重新想一遍"，而是能够真正从每一次尝试中学习、积累、成长——就像一个经验丰富的专业团队，而不是一个不断健忘的独行侠。感兴趣的读者可以通过arXiv平台搜索编号arXiv:2605.10344查阅完整论文。

---

Q&A

Q1：TMAS框架中的经验库和指南库有什么区别？

A：经验库存的是具体可复用的低层次推理片段，比如"某个中间步骤已经验证正确"或者"某种推理模式会导致错误"。指南库存的是高层次的策略方向记录，比如"用归纳法从这个角度切入的思路已经尝试过了"。经验库帮助后续解题直接利用已有成果，指南库帮助后续解题主动避开已走过的死路，两者分工不同，协同配合。

Q2：TMAS的混合奖励训练和普通强化学习有什么本质区别？

A：普通强化学习只奖励答案正确、惩罚答案错误。混合奖励训练在此基础上额外增加了两个维度：一是奖励有效利用经验库的行为（当经验库真正帮助解对了难题时给予额外奖励），二是奖励真正探索新思路的行为（提出与已记录策略不同的新方向时加分，重复旧策略时扣分）。这种设计让模型不只学会解题，还学会如何在团队框架中高效工作。

Q3：TMAS框架中发现的"验证悖论"是什么意思？

A：验证悖论指的是，在测试中发现始终解不对的难题反而会获得更高的核查评分，而不是应有的低评分。原因是解题员和核查员都来自同一类AI模型，当题目超出它们共同的能力边界时，核查员同样无法识别解题员答案中的错误，就会给出虚高分数，导致反馈机制失灵。