中科院让AI做数学题更聪明：一种像教师和教练双重指导的新训练方法

这项由中国科学院自动化研究所的付宇倩、陈庭宏团队联合美团等机构研究人员共同完成的研究发表于2025年6月24日，论文编号为arXiv:2506.19767v1。有兴趣深入了解的读者可以通过https://anonymous.4open.science/w/SRFT2025访问项目网站，或在https://huggingface.co/Yuqian-Fu/SRFT下载相关模型。

在人工智能的世界里，让机器学会解数学题一直是个令人头疼的挑战。就像培养一个学生一样，传统的方法要么是让AI死记硬背标准答案（这就是所谓的监督学习），要么是让它自己摸索试错（这就是强化学习）。但是，就像现实中的教育一样，单纯依靠其中任何一种方法都有明显的局限性。

中科院的研究团队提出了一个颇有创意的解决方案，他们开发出一种名为SRFT（监督强化微调）的新方法。这种方法就像是给AI配备了一位既会传授知识又会实战指导的全能老师。当AI在学习数学推理时，这位"老师"会同时扮演两个角色：一方面像传统的课堂教师一样展示标准解题步骤，另一方面又像体育教练一样鼓励AI自己尝试和探索。

研究团队发现了一个有趣的现象。传统的监督学习就像是用大锤子敲核桃——虽然能把壳敲开，但往往用力过猛，把整个AI的"思维方式"都给敲得面目全非。而强化学习则像是用手术刀做精细操作，虽然精准，但有时候力道不够，无法产生根本性的改变。

为了验证这个发现，研究人员做了一个巧妙的实验。他们观察了AI在学习过程中每个"词汇"概率的变化，就像是用显微镜观察细胞的变化一样。结果发现，监督学习确实会大幅度改变AI对几乎所有词汇的使用倾向，而强化学习则只会微调少数关键词汇的使用。

**一、发现AI学习的"熵"秘密**

在深入研究过程中，团队发现了一个关键指标——熵。如果把AI的思维过程比作一锅正在煮的汤，那么熵就像是汤的"混乱程度"。当汤刚开始煮的时候，各种食材都在翻滚，非常混乱，熵值很高。随着烹饪过程的进行，汤逐渐稳定下来，熵值降低。

研究人员发现，这个"熵"指标就像是AI学习状态的温度计。当AI刚开始学习时，它的思维是混乱的，不确定的，熵值很高。随着学习的深入，AI逐渐形成了稳定的解题思路，熵值随之降低。更重要的是，这个熵值的变化规律可以告诉研究人员什么时候该加强监督学习，什么时候该让AI自己探索。

这就像是烹饪时需要掌握火候一样。当汤还很混乱的时候，需要大火快炒（加强监督学习）；当汤快要成型的时候，就要转小火慢炖（让AI自己探索）。研究团队基于这个发现，设计了一套智能的权重调节机制，让AI能够在不同的学习阶段接受不同强度的指导。

**二、SRFT方法的核心创新**

SRFT方法的核心思想可以用一个生动的比喻来解释。设想你正在学习弹钢琴，传统的教学方法要么是老师一遍遍地示范标准指法（监督学习），要么是让你自己摸索着弹奏（强化学习）。而SRFT就像是一位智慧的钢琴老师，他会在你需要示范的时候给出标准演示，在你需要自由发挥的时候鼓励你创新，并且根据你当前的学习状态动态调整教学策略。

具体来说，SRFT方法包含了四个关键组件。第一个组件负责从高质量的示范解答中学习，就像学生观看老师的示范课一样。第二个组件则让AI参与到实际的解题过程中，通过与专家解答的对比来调整自己的思路。第三个组件专门处理AI自己生成的正确答案，鼓励它继续使用这些有效的解题策略。第四个组件则负责从错误中学习，让AI明白哪些思路是行不通的。

这种设计的巧妙之处在于，它能够同时发挥监督学习和强化学习的优势，同时避免它们各自的缺点。监督学习能够快速传授基础知识和标准方法，强化学习则能够培养AI的创新思维和适应能力。通过熵值来动态平衡这两种学习方式，SRFT确保AI既不会变成只会背书的书呆子，也不会因为过度探索而迷失方向。

**三、令人印象深刻的实验结果**

为了验证SRFT方法的有效性，研究团队进行了一系列严格的实验测试。他们选择了五个具有挑战性的数学竞赛级别测试，包括美国数学邀请赛（AIME）、美国数学竞赛（AMC）、数学奥林匹克竞赛等。这些测试就像是AI界的"高考"，题目难度很高，需要复杂的逻辑推理能力。

实验结果相当令人鼓舞。使用SRFT方法训练的AI模型在这些测试中平均达到了59.1%的准确率，比之前最好的方法提高了9个百分点。这个提升幅度在AI研究领域已经算是相当显著的进步了。更重要的是，这种提升不是通过简单的"题海战术"实现的，而是通过更智能的学习策略获得的。

除了在数学推理方面的提升，研究团队还测试了模型的泛化能力，也就是处理它从未见过的问题类型的能力。他们选择了三个完全不同领域的测试，包括科学推理、生物物理化学问题等。结果显示，SRFT训练的模型在这些"课外题"上的表现也提升了10.9个百分点，这说明这种方法不仅能让AI做好数学题，还能提升它的整体思维能力。

**四、深入分析：为什么SRFT这么有效**

为了理解SRFT为什么如此有效，研究团队进行了深入的分析。他们发现，传统的先监督学习再强化学习的方法存在一个根本性问题：这两个阶段是割裂的，就像是先让学生背完整本教科书，然后突然扔到考场上自己发挥一样。

通过对AI学习过程的可视化分析，研究人员发现了一个有趣的现象。在传统的两阶段训练中，AI在监督学习阶段会形成某种固定的思维模式，但在进入强化学习阶段时，这种思维模式反而可能成为束缚。这就像是一个人先学会了标准的游泳姿势，但在实际下水时却发现标准姿势并不适合所有的水域条件。

SRFT的单阶段整合设计巧妙地解决了这个问题。通过同时进行监督学习和强化学习，AI能够在学习标准方法的同时保持思维的灵活性。这就像是在学习游泳时，教练既会示范标准动作，又会鼓励学员根据实际情况调整姿势，最终培养出既规范又灵活的游泳技能。

研究团队还发现了一个更深层的机制。他们观察到，在SRFT的训练过程中，AI的"思维熵"保持在一个相对稳定的水平，既不会过于混乱（表明学习效率低下），也不会过于僵化（表明缺乏创新能力）。这种平衡状态使得AI能够持续有效地学习和改进。

**五、技术实现的巧思**

SRFT方法在技术实现上有几个值得关注的巧思。首先是熵感知的权重调节机制。这个机制就像是一个智能的调色师，能够根据画面的需要调配不同比例的颜色。当AI的思维状态比较混乱时（高熵状态），系统会增加监督学习的权重，提供更多的指导；当AI的思维趋于稳定时（低熵状态），系统会增加强化学习的权重，鼓励更多的自主探索。

其次是离线策略学习的设计。传统的强化学习往往需要AI在实时环境中不断试错，这个过程既耗时又低效。SRFT通过引入专家示范数据，让AI可以从高质量的解题过程中学习，就像是让学生观摩大师级选手的比赛录像一样，能够快速掌握高级技巧。

第三个巧思是正负样本的差异化处理。当AI生成正确答案时，系统会强化这种思维路径；当AI犯错时，系统会明确指出错误并引导正确方向。这种设计确保了AI能够从成功和失败中同时学习，形成更加健全的问题解决能力。

**六、实际应用的广阔前景**

SRFT方法的意义远不止于让AI更好地解数学题。从更广阔的视角来看，这种方法为人工智能的训练提供了一个新的范式，那就是如何更有效地结合不同类型的学习信号。

在教育领域，这种方法可以用来开发更智能的个性化学习系统。系统可以根据学生的学习状态动态调整教学策略，既提供必要的知识传授，又鼓励学生的创新思维。在专业培训领域，比如医生的诊断训练、律师的案例分析训练等，都可以借鉴这种同时结合示范学习和实践探索的方法。

在更广泛的AI应用中，SRFT的思想也具有重要价值。无论是自然语言处理、计算机视觉，还是机器人控制，都面临着如何平衡模仿学习和自主探索的问题。SRFT提供的熵感知动态平衡机制可以为这些领域的技术发展提供新的思路。

**七、当前限制与未来发展方向**

尽管SRFT方法取得了显著成果，但研究团队也坦诚地指出了当前的一些限制。目前的熵动态利用还相对简单，主要依赖基础的指数权重函数。研究人员认为，训练过程中丰富的熵时间模式暗示着更复杂的熵控制机制的可能性，比如自适应熵调度或多时间尺度熵分析等。

另一个限制是该方法目前假设能够获得高质量的示范数据。在实际应用中，并不是所有领域都有足够多的专家示范可供学习。因此，如何在示范数据不完美的情况下仍能有效训练AI，是一个值得深入研究的问题。

研究团队还提到，虽然SRFT在数学推理方面表现出色，但其在其他认知任务上的表现还需要进一步验证。不同类型的任务可能需要不同的熵控制策略，这为未来的研究提供了广阔空间。

从技术发展的角度来看，SRFT代表了AI训练方法从简单模仿向智能整合的重要转变。随着计算能力的提升和算法的进一步优化，我们有理由期待这种方法能够在更多领域发挥作用，为人工智能的发展开辟新的道路。

说到底，SRFT的成功在于它找到了一种更加自然和高效的AI学习方式。就像人类学习一样，最好的教育往往是理论传授与实践探索的有机结合。通过让AI同时接受"老师的指导"和"自己的思考"，SRFT为我们展示了一种更加智能和灵活的AI训练范式。这不仅能让AI在数学推理方面表现更好，更重要的是为未来开发出更加通用和强大的人工智能系统铺平了道路。对于关心AI发展的读者来说，SRFT的出现无疑是一个值得关注的重要进展，它预示着AI可能正在向更加类人的学习方式迈进。

Q&A

Q1：SRFT方法与传统AI训练方法有什么不同？ A：传统方法要么让AI死记硬背标准答案（监督学习），要么让它纯粹自己摸索（强化学习）。SRFT就像配备了全能老师，能同时进行示范教学和实践指导，并根据AI的学习状态智能调整教学策略，避免了单一方法的局限性。

Q2：为什么说熵是SRFT方法的关键？ A：熵就像AI思维状态的"温度计"，能反映AI学习的混乱程度。SRFT通过监测熵值变化，智能判断什么时候该加强示范教学，什么时候该鼓励自主探索，实现了两种学习方式的完美平衡。

Q3：SRFT方法的实际效果如何？ A：在数学竞赛级测试中，SRFT让AI的准确率达到59.1%，比之前最好方法提升9个百分点。更重要的是，在完全陌生的问题类型上也提升了10.9%，说明这种方法不仅能让AI做好数学题，还能提升整体思维能力。