北京大学团队推出ReLIFT：当AI遇到"最难题"时的聪明学习法

这项由北京大学马璐、梁昊、强美一、唐乐翔、马晓晨、黄振浩、牛俊博、沈承宇、何润铭、崔斌和张文涛等研究者组成的团队在2025年6月发表的研究，为我们揭示了人工智能如何能够更聪明地学习解决复杂问题。想象一下，如果你正在学习数学，有些题目对你来说很简单，可以通过反复练习来巩固，而有些题目则难得让你抓耳挠腮，这时你就需要老师的详细指导才能理解。AI的学习也是如此道理。

研究团队发现了一个有趣的现象：当前最先进的AI学习方法，就像是让学生在没有老师指导的情况下自己摸索学习。虽然这种方法在处理已经掌握的知识方面效果不错，但当遇到真正困难的新问题时，就显得力不从心了。这就好比一个学生可以通过大量刷题来提高解题熟练度，但如果遇到完全陌生的题型，没有老师的详细讲解，很难真正掌握新的解题思路。

这项研究的核心创新在于提出了一种名为ReLIFT的新学习方法。简单来说，ReLIFT就像是为AI配备了一个智能学习助手，它能够识别出AI在学习过程中遇到的"最难题"，然后及时提供高质量的解题示范，帮助AI真正掌握新的解题方法。这种做法不仅能让AI在已经会做的题目上保持优秀表现，还能帮助它突破能力边界，学会解决以前不会的难题。

更令人惊喜的是，这种新方法在五个高难度数学竞赛级别的测试中取得了显著成果，平均成绩提升了5.2个百分点，而且只需要传统方法13%的详细教学数据就能达到更好的效果。这就像是一个聪明的学习策略，既节省了教学资源，又提高了学习效果，可谓一举两得。有兴趣深入了解这项研究技术细节的读者可以通过GitHub项目页面https://github.com/TheRoadQaQ/ReLIFT访问相关资源和代码。

**一、AI学习的两种截然不同的路径**

要理解这项研究的重要性，我们首先需要明白当前AI学习主要有两种不同的方式，就像学生学习也有两种不同的策略一样。

第一种方式叫做强化学习，这就像是让学生通过反复试错来学习。想象一个学生在解数学题时，每做对一道题就得到奖励，做错了就没有奖励。通过这种反复的试错过程，学生逐渐学会了如何更频繁地得到奖励，也就是更经常地做对题目。这种方法的优点是不需要老师提供详细的解题步骤，学生可以自主探索学习。然而，问题在于学生只能在自己已有知识范围内进行优化，很难真正学会全新的解题方法。

第二种方式叫做监督微调，这更像是传统的课堂教学。老师会提供详细的解题步骤和示范，学生通过模仿这些高质量的解题过程来学习。这种方法的好处是能够让学生接触到全新的知识和解题技巧，快速掌握复杂的解题方法。但缺点是需要大量高质量的教学材料，而且学生可能过分依赖这些示范，在遇到稍有变化的题目时就不知所措。

研究团队通过深入分析发现了一个关键洞察：这两种学习方式在处理不同难度的问题时表现出截然不同的特点。对于相对简单的题目，强化学习表现更好，因为学生已经具备了基本的解题能力，只需要通过练习来提高熟练度和准确性。但对于真正困难的题目，监督微调则更为有效，因为这些题目需要全新的思维方式和解题技巧，仅仅通过试错是很难掌握的。

更有趣的是，研究团队发现当使用监督微调方法时，AI在处理简单题目的表现反而可能下降。这就像是一个学生在学习了复杂的高级解题方法后，反而在做简单题目时变得繁琐复杂，不如之前那样直接高效。这种现象提醒我们，不同的学习方法确实适用于不同类型的问题。

通过对学习过程的详细分析，研究团队将题目按难度分为四个等级：简单、中等、困难和最困难。他们发现强化学习在简单和中等题目上表现更好，能够保持并提升原有能力，而监督微调在最困难的题目上更有优势，能够帮助AI学习全新的解题方法。这个发现为设计更智能的学习策略奠定了基础。

**二、ReLIFT：智能学习的完美平衡**

基于对两种学习方式优缺点的深入理解，研究团队设计了一种名为ReLIFT的创新学习方法。这个名字代表"强化学习与在线微调的交替进行"，但我们可以把它想象成一个非常聪明的学习助手，它知道在什么时候应该让学生自主练习，什么时候应该提供详细指导。

ReLIFT的工作原理就像是一个有经验的老师在课堂上的表现。大部分时间，这个老师让学生通过做练习题来巩固已学知识，这相当于强化学习的过程。但是当学生遇到特别困难的题目，连续几次都做不对时，老师就会意识到仅靠学生自己摸索是不够的，这时候就会暂停练习，详细讲解这类难题的解法，这就相当于监督微调的过程。

具体来说，ReLIFT在运行过程中会持续监控AI的学习表现。当AI在解题过程中遇到完全无法解决的难题时，系统会自动识别出这些"最困难"的题目，然后为这些题目收集或生成高质量的解题示范。这些示范会被存储在一个特殊的"学习缓冲区"中，就像是一个专门收集难题解法的笔记本。

当缓冲区中积累了足够多的难题解法后，系统就会暂停常规的强化学习训练，转而让AI专门学习这些难题的解法。这个过程就像是专门安排一节课来讲解学生们普遍感到困难的题型。学完这些难题解法后，AI又会回到常规的强化学习训练中，继续通过练习来巩固所有技能。

这种设计的巧妙之处在于它的自适应性。在学习初期，当AI的能力还比较弱时，它会遇到更多的难题，因此系统会更频繁地提供详细指导。随着AI能力的提升，遇到的难题越来越少，系统就会更多地依靠强化学习来进一步优化性能。这就像是一个学生从新手到专家的自然成长过程，初期需要更多指导，后期更多依靠自主练习。

ReLIFT还有一个重要特点就是它的在线学习能力。传统的方法通常需要事先准备大量的教学材料，但ReLIFT可以在学习过程中即时识别难题并获取相应的解法示范。这就像是一个老师能够根据学生的实时表现灵活调整教学内容，而不是死板地按照预设的教学计划进行。

更值得一提的是，ReLIFT在保持学习效果的同时，大大减少了对详细教学数据的需求。实验结果显示，它只需要传统监督学习方法13%的教学数据就能取得更好的效果。这就好比一个高效的学习方法，不需要大量的教学资源就能帮助学生取得更好的成绩。

**三、令人瞩目的实验成果**

为了验证ReLIFT方法的有效性，研究团队进行了一系列全面而严格的实验测试。他们选择了五个极具挑战性的数学竞赛级别测试集，这些测试就像是数学界的"奥林匹克竞赛"，包括AIME 2024、AIME 2025、AMC、MATH500和OlympiadBench等。此外，他们还测试了AI在完全不同领域问题上的表现，以验证方法的通用性。

实验结果令人印象深刻。ReLIFT在所有测试中都取得了显著的性能提升，总体平均准确率达到了51.1%，比之前最好的方法提高了5.2个百分点。这个提升幅度在AI研究领域是相当显著的，就像是一个学生的考试成绩从85分提高到90分以上，看似数字变化不大，但在高水平竞争中这种提升是非常宝贵的。

更让人惊喜的是ReLIFT在解题效率方面的表现。传统的监督学习方法虽然能够提高准确率，但往往会产生冗长复杂的解题过程，平均每个答案的长度达到10,166个字符。相比之下，ReLIFT生成的答案更加简洁明了，平均长度只有1,061个字符，减少了近10倍。这就像是一个学生不仅学会了正确解题，还掌握了简洁高效的解题方法，避免了不必要的繁琐步骤。

在训练过程的动态分析中，研究团队发现了ReLIFT的另一个重要优势。在传统的强化学习过程中，AI的探索能力会随着训练的进行而逐渐减弱，就像是一个学生在熟悉了常规题型后就不愿意尝试新的解题思路。但ReLIFT能够保持持续的探索能力，在整个训练过程中都保持着学习新知识的积极性。

实验数据显示，ReLIFT在遇到的最困难题目数量上也表现出明显优势。随着训练的进行，ReLIFT遇到的无法解决的题目越来越少，说明它的确在不断学习和掌握新的解题能力。同时，它生成的答案长度也在合理范围内逐渐增加，表明AI在处理复杂问题时愿意投入更多的思考和计算资源。

为了验证方法的普适性，研究团队还在不同规模的AI模型上测试了ReLIFT的效果。无论是较小的1.5B参数模型，还是更大的7B参数模型，ReLIFT都能带来显著的性能提升。这说明这种学习方法不仅仅适用于特定规模的AI系统，而是具有广泛的应用价值。

特别值得注意的是，ReLIFT在处理完全不同领域的问题时也表现出良好的泛化能力。在MMLU-Pro这个涵盖多个学科领域的综合测试中，ReLIFT同样取得了优异的成绩，证明了这种学习方法不仅适用于数学问题，还能推广到其他需要复杂推理的任务中。

**四、深入探索学习机制的奥秘**

为了更深入地理解ReLIFT为什么能够取得如此优异的效果，研究团队进行了详细的机制分析。他们发现，关键在于准确识别什么时候应该进行强化学习，什么时候应该进行监督学习，以及如何选择合适的学习材料。

通过对比实验，研究团队验证了几个重要的设计选择。首先，他们测试了如果每次强化学习后都进行监督学习会发生什么。结果发现这种做法会导致AI性能急剧下降，就像是一个学生在还没有充分练习基础题目的情况下就被强迫学习高难度内容，结果两头都没学好。这说明学习的时机选择是非常重要的。

其次，他们测试了固定间隔进行监督学习的效果。这种方法虽然比完全随机要好，但仍然不如根据AI实际遇到的困难程度来动态调整学习策略。这就像是按照固定的时间表来补习，而不是根据学生的实际需要来安排额外辅导，效果自然不如后者。

最重要的发现是学习材料的选择对效果有决定性影响。如果用随机选择的题目来进行监督学习，而不是专门针对AI遇到困难的题目，效果会大打折扣。这验证了"对症下药"的重要性，只有针对真正的薄弱环节进行专门训练，才能取得最佳的学习效果。

研究团队还分析了ReLIFT在不同学习阶段的行为模式。在早期阶段，当AI能力还比较弱时，它会遇到更多无法解决的难题，因此监督学习的频率更高。随着能力的提升，监督学习的频率逐渐降低，更多地依靠强化学习来精炼技能。这种自然的学习节奏变化正是ReLIFT设计的巧妙之处。

通过观察AI在训练过程中的"思考过程"，研究团队发现ReLIFT培养出的AI不仅准确率更高，解题思路也更加多样化。这就像是一个全面发展的学生，不仅会做题，还能用多种方法来解决同一个问题，显示出真正的理解和掌握。

**五、突破传统AI学习的根本局限**

这项研究的深层意义远不止于提高AI在数学题目上的表现。它揭示了当前AI学习方法的一个根本性局限，并提出了突破这种局限的有效途径。

传统的强化学习方法，虽然在很多任务上都能取得不错的效果，但它本质上是一种"在现有知识范围内优化"的方法。就像是一个学生只能在自己已经掌握的解题方法基础上提高熟练度和准确性，但很难真正学会全新的解题思路。这种局限性在面对需要创新思维或全新方法的复杂问题时就显得尤为突出。

相比之下，监督学习虽然能够引入新的知识和方法，但它需要大量高质量的教学数据，而且容易导致AI过分依赖这些示范，缺乏灵活性。这就像是一个学生虽然能够背诵大量的解题模板，但在遇到稍有变化的题目时就不知道如何灵活应用。

ReLIFT的创新之处在于它巧妙地结合了两种方法的优势，同时避免了各自的缺点。它让AI在大部分时间里通过强化学习来巩固和优化已有技能，保持学习的自主性和灵活性。但当遇到真正超出现有能力范围的挑战时，它会及时引入高质量的指导，帮助AI突破能力边界。

这种设计理念其实反映了人类学习的自然规律。我们在学习新技能时，大部分时间都是通过练习来提高熟练度，但在遇到完全陌生的概念或方法时，我们需要老师的指导或参考权威资料。ReLIFT正是将这种自然的学习模式成功地应用到了AI系统中。

更重要的是，ReLIFT证明了AI可以在学习过程中实现真正的能力扩展，而不仅仅是在固定能力范围内的优化。这为开发更加智能和自适应的AI系统开辟了新的可能性。想象一下，如果AI能够像人类一样不断学习新知识、掌握新技能，那么它在各个领域的应用潜力将会大大扩展。

**六、对未来AI发展的深远影响**

ReLIFT的成功不仅仅是一个技术突破，它更代表了AI学习范式的一次重要转变。这种转变可能会对整个AI领域的发展产生深远的影响。

首先，ReLIFT展示了如何在保持学习效率的同时大幅减少对高质量训练数据的需求。在当前AI发展中，获取大量高质量的标注数据往往是最大的瓶颈之一。ReLIFT只需要传统方法13%的数据就能取得更好的效果，这意味着AI的训练成本可以大大降低，同时训练效果还能得到提升。

其次，这种方法的自适应特性为开发更加智能的AI系统提供了新的思路。传统的AI系统往往需要针对特定任务进行专门设计和训练，而ReLIFT展示了一种能够根据学习过程中遇到的实际挑战自动调整学习策略的方法。这种自适应能力是通向真正智能AI系统的重要一步。

从更广泛的应用角度来看，ReLIFT的原理可以推广到其他许多需要复杂推理的领域。无论是科学研究中的假设验证、工程设计中的问题解决，还是商业决策中的策略制定，都可能受益于这种"在现有能力基础上适时引入新知识"的学习模式。

这项研究还为我们思考AI与人类的关系提供了新的视角。ReLIFT展示的学习模式实际上非常接近人类的自然学习过程，这表明最有效的AI系统可能不是那些完全不同于人类思维的系统，而是那些能够模拟和增强人类学习能力的系统。

当然，ReLIFT也面临着一些挑战和限制。目前的实验主要集中在数学推理任务上，虽然也在其他领域进行了一些验证，但要证明这种方法在所有类型的智能任务上都有效，还需要更多的研究和实验。此外，如何在更大规模的AI系统上高效实现ReLIFT的机制，也是一个需要进一步探索的技术问题。

说到底，ReLIFT为我们展示了一条通向更智能、更高效AI系统的可能路径。它告诉我们，最好的学习方法不是单纯地依赖某一种策略，而是要像一个聪明的学习者一样，知道在什么时候应该巩固已有技能，什么时候应该学习新知识。这种平衡和智慧，正是我们期待在未来AI系统中看到的品质。

研究团队在论文中明确表示，未来的工作将专注于将ReLIFT扩展到更大规模的模型上，并开发更有效的策略来协调强化学习和监督学习。他们相信，这种方法将为开发能够持续学习和适应的AI系统开辟新的可能性。对于那些希望深入了解技术细节或者想要基于这项研究进行进一步开发的研究者和工程师来说，完整的研究论文和相关代码都可以通过GitHub项目页面获取，这也体现了开放科学的精神，让更多人能够参与到这一重要研究方向的发展中来。