NewsBreak团队推出DuaShepherd：让AI数学推理更聪明的双重奖励系统

这项由NewsBreak公司的吴远豪、宋俊彤、牛承等研究人员与伊利诺伊大学厄巴纳-香槟分校的张汉宁、张彤团队共同完成的研究发表于2025年6月，论文标题为"DuaShepherd: Integrating Stepwise Correctness and Potential Rewards for Mathematical Reasoning"。感兴趣的读者可以通过arXiv:2506.17533v1获取完整论文。

想象你正在教一个孩子做数学题。当他解题时，你不仅会关注每一步是否正确，还会考虑这一步是否能引导他走向最终答案。这正是DuaShepherd这项研究的核心思想。研究团队发现，现有的AI数学推理系统往往只关注其中一个方面，要么只看步骤正确性，要么只看能否得到正确答案，而忽略了这两者的协同作用。

当前的大型语言模型在数学推理方面仍然存在明显短板。尽管这些AI系统在许多任务上表现出色，但面对需要多步骤逻辑推理的数学问题时，它们经常会在某个步骤出错，或者虽然单步正确但最终偏离正确答案。这就像一个学生可能计算没错，但解题思路有问题，最终还是得不到正确答案。

研究团队提出了一个创新的解决方案：构建一个"双重导师"系统。这个系统有两个不同的"大脑"，一个专门负责检查每个步骤是否正确（就像严格的数学老师），另一个专门判断当前的解题路径是否有希望得到正确答案（就像有经验的辅导员）。更重要的是，他们找到了将这两种判断有效结合的方法，让AI在数学推理时既能避免低级错误，又能保持正确的解题方向。

在实际测试中，这种双重奖励系统在多个数学测试集上都显示出显著的性能提升。特别是在MATH500和ProcessBench这两个权威测试中，DuaShepherd模型的表现明显超越了单独使用任何一种奖励信号的模型，达到了同等资源条件下的最先进水平。

一、双重视角下的数学推理革新

传统的AI数学推理训练方法通常采用单一的奖励机制。有些系统专注于结果导向的奖励，也就是说，只要最终答案正确，中间过程如何并不重要。这种方法的问题在于，即使得到了正确答案，AI可能是通过错误的推理路径"蒙"对的，这在解决更复杂问题时就会暴露出问题。另一些系统则采用过程导向的奖励，逐步检查每个推理步骤的正确性，但这种方法往往忽略了整体的解题策略是否合理。

研究团队观察到，这两种不同的奖励信号实际上反映了数学推理的两个不同层面。正确性奖励关注的是"这一步做得对不对"，而潜力奖励关注的是"这一步能不能帮助我们到达终点"。就像开车导航一样，你既需要确保每个转弯都是正确的（不违反交通规则），也需要确保整体路线是通向目的地的（不会越走越远）。

为了验证这个想法，研究团队深入分析了现有的两个主要数据集：OpenAI的PRM800K数据集和Math-Shepherd数据集。PRM800K数据集主要通过人工标注来判断每个推理步骤的正确性，就像有一位严格的数学老师在旁边逐步检查学生的每个计算过程。而Math-Shepherd数据集则通过蒙特卡洛采样方法来评估某个步骤最终导向正确答案的可能性，更像是一位有经验的教练在判断当前策略的成功概率。

通过对这两个数据集的深入分析，研究团队发现它们确实捕捉到了数学推理的不同方面。在一些情况下，一个推理步骤可能在逻辑上完全正确，但却不是解决当前问题的最佳路径。相反，有些步骤虽然看起来不够优雅，但却能有效地引导向正确的解答方向。这种差异性为结合两种奖励信号提供了理论基础。

二、自动化数据集构建的巧妙设计

构建一个包含双重奖励标签的大规模数据集是这项研究的关键挑战之一。传统的做法需要大量人工标注，不仅成本高昂，而且难以保证标注的一致性。研究团队设计了一个聪明的自动化流程来解决这个问题。

整个过程就像是建立一个自动化的"双重评分系统"。首先，他们分别在PRM800K和Math-Shepherd数据集上训练了两个专门的奖励模型。第一个模型专注于学习如何识别推理步骤的正确性，它学会了像一位严格的阅卷老师一样，能够发现推理过程中的逻辑错误、计算错误等问题。第二个模型则专注于评估解题的潜力，它学会了像一位经验丰富的策略顾问一样，能够判断当前的解题方向是否有希望成功。

接下来，研究团队使用这两个已经训练好的模型来为Math-Shepherd数据集中的所有样本生成双重标签。这个过程非常巧妙：他们让正确性模型为每个推理步骤打分，评估其逻辑正确性；同时让潜力模型为同样的步骤打分，评估其解题潜力。这样，每个推理步骤都获得了两个维度的评分。

为了确保这种自动化标注的质量，研究团队还进行了严格的验证。他们使用OpenAI的o1-mini模型作为参考标准，对随机抽取的1000个推理轨迹进行了人工验证。结果显示，他们的正确性模型生成的伪标签与人工标注的一致性达到了79.6%的F1分数，而潜力模型的表现更是达到了93.46%的F1分数。这些数字表明，自动化流程产生的标签质量足以支撑后续的模型训练。

这种自动化数据集构建方法的另一个优势是可扩展性。与需要大量人工标注的传统方法不同，这个流程可以轻松地扩展到更大规模的数据集，为训练更强大的数学推理模型提供了充足的"燃料"。

三、多任务学习架构的精妙设计

在获得了包含双重奖励标签的数据集后，如何有效地训练一个能够同时理解两种奖励信号的模型成为了下一个关键问题。研究团队采用了一种多头网络架构，这种设计就像是给AI装上了"双眼"，让它能够同时从两个不同的角度观察和评估数学推理过程。

具体来说，这个架构包含一个共享的基础大型语言模型作为"主体大脑"，负责理解和处理输入的数学推理文本。在这个主体大脑的基础上，研究团队添加了两个专门的"判断头"，每个头都是一个简单的全连接层，但它们分别专注于不同的任务。第一个头专门负责预测推理步骤的正确性，第二个头则专门负责评估解题的潜力。

这种设计的巧妙之处在于，两个专门的判断头共享同一个基础模型的知识表示，这意味着它们可以相互学习和借鉴。当模型在学习如何判断步骤正确性时，这些知识也会间接地帮助它更好地理解解题潜力，反之亦然。就像一个人在学习数学时，对计算技巧的掌握会帮助他更好地理解解题策略，而对整体策略的理解也会让他在具体计算时更加准确。

在训练过程中，研究团队使用了多任务学习的策略。模型的总损失函数是两个任务损失的简单相加：一个来自正确性预测任务，另一个来自潜力预测任务。这种设计确保模型在训练时需要同时优化两个目标，从而学会平衡这两种不同但互补的能力。

实验结果证明了这种多任务学习方法的有效性。与分别训练两个独立模型相比，联合训练的模型在两个任务上都表现得更好。这种现象被称为"正向迁移"，也就是说，学习一个任务的过程实际上帮助了另一个任务的学习。这进一步证实了研究团队的假设：正确性判断和潜力评估这两个任务在本质上是相互关联和互补的。

四、复合概率的创新融合策略

拥有了能够同时输出两种奖励信号的模型后，如何将这两个信号有效地结合成一个最终的评分成为了关键问题。研究团队尝试了多种融合方式，最终发现了一个既简单又有效的解决方案：直接将两个概率相乘。

这种做法背后有着深刻的概率论理念。从数学角度来看，如果我们假设"步骤正确"和"具有解题潜力"是两个相互独立的事件，那么两者同时发生的概率就是各自概率的乘积。虽然在实际情况中这两个事件并不完全独立，但这种近似在实践中被证明是非常有效的。

这种融合策略的直观理解也很容易。考虑一个推理步骤，如果它的正确性得分是0.8（表示有80%的把握这一步是对的），潜力得分是0.9（表示有90%的把握这一步能导向正确答案），那么综合得分就是0.8×0.9=0.72。这个综合得分既考虑了步骤的正确性，也考虑了其策略价值。

研究团队还尝试了其他的融合方法，比如加权平均、最大值选择等，但都没有简单相乘的效果好。这个发现很有意思，因为它表明有时候最简单的方法往往是最有效的。相乘操作的另一个优势是它具有"一票否决"的特性：如果任何一个维度的得分很低，最终的综合得分也会相应降低，这确保了模型不会选择那些在任一方面表现很差的推理步骤。

在多个测试数据集上的实验都证实了这种复合概率策略的有效性。特别是在处理那些传统方法容易出错的边界情况时，这种双重考量的方法显示出了明显的优势。比如，当所有候选答案的正确性都比较低时，传统的仅关注正确性的方法可能会随机选择，而DuaShepherd能够进一步考虑解题潜力，选择那些更有希望的方案。

五、实验验证与性能突破

为了全面评估DuaShepherd的性能，研究团队在多个权威的数学推理测试集上进行了详细的实验。这些测试就像是为AI学生安排的"期末考试"，涵盖了不同难度和类型的数学问题。

在MATH500测试集上，研究团队使用了三个不同能力水平的数学推理模型作为"答题生成器"：Mistral-7B、DeepSeekMath-Instruct-7B和Qwen-2.5-Math-Instruct-7B。对于每个测试问题，这些生成器会产生64个候选答案，然后由不同的奖励模型来选择最佳答案。这个过程就像是让学生先写出多种解法，然后由不同的老师来评判哪种解法最好。

实验结果令人印象深刻。以Mistral-7B生成器为例，使用单独的PRM800K模型选择答案的准确率是47.2%，使用Math-Shepherd模型的准确率也是47.2%，但当使用DuaShepherd的复合奖励时，准确率提升到了52.6%。这种提升在统计学上是显著的，表明双重奖励确实比单一奖励更有效。

更有趣的是，即使是简单地将两个独立训练的模型的输出相乘，也能获得一定的性能提升（准确率达到49.8%），但这种提升仍然不如统一训练的DuaShepherd模型。这说明多任务学习确实帮助模型更好地理解了两种奖励信号之间的关系。

在ProcessBench测试集上，DuaShepherd的表现更加出色。这个测试集专门设计用来评估模型识别推理错误的能力。DuaShepherd在这项测试中达到了65.5%的综合得分，不仅远超单独使用任一奖励信号的模型，甚至超过了一些更大规模的竞争模型。

特别值得注意的是，研究团队还测试了不同规模候选答案的情况。无论是在少量候选答案（如4个）还是大量候选答案（如64个）的情况下，DuaShepherd都能保持稳定的性能优势。这表明这种方法不仅在理论上有效，在实际应用中也具有很强的鲁棒性。

六、深入分析：两种奖励的协同机制

为了更好地理解DuaShepherd为什么有效，研究团队对两种奖励信号之间的关系进行了深入分析。他们计算了正确性奖励和潜力奖励之间的皮尔逊相关系数，发现对于正确的解答，两者的相关性达到0.712，而对于错误的解答，相关性只有0.392。这个数字很有启发性：它表明两种奖励在评估正确解答时更加一致，但在评估错误解答时存在更多分歧。

通过可视化分析，研究团队发现了一个有趣的现象。在二维图上，横轴代表正确性得分，纵轴代表潜力得分，正确的解答大多聚集在右上角（高正确性、高潜力），而错误的解答则分散在其他区域。特别有意思的是，当只使用Math-Shepherd模型进行选择时，许多错误解答聚集在图的左侧（正确性得分接近0的区域）；而当只使用PRM800K模型进行选择时，许多错误解答聚集在图的底部（潜力得分接近0的区域）。

这种分布模式清楚地解释了为什么单一奖励模型会在某些情况下失效，以及为什么复合奖励能够显著改善性能。PRM800K模型虽然善于识别逻辑错误，但在所有候选答案都存在某些错误时，它难以进一步区分哪个答案更有希望。Math-Shepherd模型虽然善于评估解题潜力，但可能会选择那些方向正确但细节错误的答案。只有将两者结合，才能在这两个维度上都获得高分的答案。

研究团队还发现了一个被称为"弱到强泛化"的现象。当他们使用更大的72B参数模型来实现相同的复合奖励策略时，性能提升更加显著。这表明DuaShepherd发现的原理具有很强的可扩展性，随着模型规模的增大，其优势会更加明显。

七、实际应用与未来展望

DuaShepherd的成功不仅仅是学术研究的胜利，更重要的是它为实际的AI数学教育和辅助系统开发提供了新的思路。当前，许多在线教育平台和智能辅导系统都在尝试集成AI来帮助学生学习数学，但现有系统往往只能提供简单的对错判断，无法给出更细致的学习指导。

DuaShepherd的双重评估机制为这类应用提供了更丰富的可能性。比如，一个智能辅导系统可以使用正确性评估来指出学生解题过程中的具体错误，同时使用潜力评估来建议更好的解题策略。这种细粒度的反馈对于提高学习效果具有重要价值。

在更广泛的人工智能研究领域，这项工作也提供了一些重要启示。它表明，对于复杂的推理任务，单一的评估维度往往是不够的，需要从多个互补的角度来评估和指导AI的行为。这种思路可能对其他需要多步推理的任务，如代码生成、科学推理、法律分析等，都有借鉴价值。

不过，研究团队也坦诚地指出了当前方法的一些局限性。首先，DuaShepherd依赖于伪标签生成，而这些伪标签的质量直接影响最终模型的性能。其次，PRM800K数据集主要关注推理的正确性，可能无法完全捕捉现代AI模型具有的自我反思和自我纠错能力。此外，虽然简单的相乘策略在当前实验中表现良好，但可能还有其他更精妙的融合方式有待探索。

展望未来，这项研究开辟了几个有前景的研究方向。首先是探索更先进的奖励融合技术，比如使用神经网络来学习最优的融合策略，而不是简单的数学运算。其次是将这种双重奖励思想扩展到其他类型的推理任务。最后是结合树搜索等更复杂的推理策略，进一步提升AI的数学推理能力。

八、技术创新的深层价值

从技术发展的历史来看，DuaShepherd代表了AI研究中一个重要的趋势转变：从追求单一指标的优化转向多维度协同优化。这种转变反映了我们对智能本质理解的深化。真正的智能行为往往需要在多个目标之间找到平衡，而不是简单地最大化某一个单一指标。

在传统的机器学习研究中，研究者往往专注于优化一个明确定义的目标函数。但在复杂的推理任务中，这种单一目标的方法往往会导致模型在某些方面表现出色，但在其他重要方面表现不佳。DuaShepherd的成功表明，通过巧妙地设计多个互补的目标函数，我们可以训练出更加均衡和强大的AI系统。

这种思路的应用潜力远不止于数学推理。在自然语言处理的其他领域，比如文本生成，我们也可以考虑类似的多维度评估：一个维度关注文本的语法正确性和逻辑连贯性，另一个维度关注文本的创意性和吸引力。在计算机视觉领域，我们可以让模型同时考虑识别的准确性和鲁棒性。在推荐系统中，我们可以平衡推荐的准确性和多样性。

更深层次地看，DuaShepherd的研究还体现了AI研究中的一个重要哲学：模仿人类认知的多维度特征。人类在解决复杂问题时，大脑中往往同时运行着多个评估和决策机制。我们会同时考虑短期收益和长期目标，同时权衡准确性和效率，同时评估风险和机遇。DuaShepherd在某种程度上体现了这种认知的多维度特征，这为构建更加人性化的AI系统提供了有价值的参考。

研究团队在论文中还提到了一个有趣的观察：即使使用相对简单的融合策略（直接相乘），也能获得显著的性能提升。这个发现具有重要的实用价值，因为它表明我们不需要设计极其复杂的融合机制就能获得多维度评估的好处。这种简单性不仅降低了技术实现的难度，也提高了系统的可解释性和可维护性。

说到底，DuaShepherd的研究成果告诉我们，在AI发展的道路上，有时候答案不在于构建更大更复杂的模型，而在于更聪明地利用已有的资源和知识。通过巧妙地结合两种看似简单的评估方式，研究团队实现了显著的性能提升，这种"巧思胜过蛮力"的研究思路值得我们深思和借鉴。

归根结底，这项研究不仅推进了AI数学推理的技术边界，更重要的是为我们提供了一种新的思考方式：在面对复杂问题时，与其追求单一维度的完美，不如寻求多个维度的协调统一。这种思路不仅适用于AI研究，对于我们日常生活中的决策和问题解决也有启发意义。毕竟，最好的解决方案往往不是在某一方面做到极致，而是在多个重要方面都能达到令人满意的水平。

对于那些对人工智能技术感兴趣的读者，这项研究提供了一个很好的案例，展示了如何通过创新的思维方式而不是简单的资源堆积来推进技术发展。对于教育工作者和学生，DuaShepherd的双重评估思想也提供了有益的启示：在学习和教学过程中，我们同样需要从多个角度来评估和改进，既要关注知识掌握的准确性，也要关注学习策略的有效性。

Q&A

Q1：DuaShepherd是什么？它解决了什么问题？ A：DuaShepherd是一个AI数学推理奖励模型，它同时使用两种评估方式：判断每个推理步骤是否正确，以及评估这个步骤是否有助于得到正确答案。它解决了传统AI模型要么只看步骤对错、要么只看最终结果的局限性，让AI在做数学题时既避免错误又保持正确方向。

Q2：这个双重奖励系统会不会让AI变得更复杂难懂？ A：实际上相反，DuaShepherd使用了很简单的融合方法——直接将两个评分相乘，这让系统既强大又容易理解。就像给AI装了"双眼"，让它能从两个角度看问题，但最终决策过程仍然很直观。

Q3：普通人能用到这种技术吗？有什么实际应用？ A：虽然目前还是研究阶段，但这种技术很有潜力应用到在线教育平台和智能辅导系统中。未来的AI数学老师可能会使用类似技术，不仅指出你哪里算错了，还能建议更好的解题思路，提供更精准的学习指导。