从零起步也能做推理大模型？StepFun和清华大学揭秘超高效训练的神奇配方

这项由清华大学的胡景程、张引民、韩启、蒋大欣、张翔宇，以及清华大学的沈向洋联合完成的研究发表于2025年7月的arXiv预印本（论文编号：arXiv:2503.24290v2），有兴趣深入了解的读者可以通过GitHub开源项目（https://github.com/Open-Reasoner-Zero/Open-Reasoner-Zero）和HuggingFace模型库（https://huggingface.co/Open-Reasoner-Zero）获取完整的代码和模型。

当我们谈到人工智能的推理能力时，通常会觉得这是一个需要大量预训练、复杂调优和海量资源的高技术门槛领域。然而，这项来自StepFun和清华大学的研究却告诉我们一个令人惊喜的事实：原来从最基础的模型开始，用最简单的方法，也能训练出卓越的推理AI。

这就好比一个烹饪新手，不需要学会所有复杂的烹饪技巧，只要掌握几个最基本的原则，就能做出比米其林大厨更美味的菜肴。研究团队提出的Open-Reasoner-Zero（简称ORZ）就是这样一个"极简主义"的训练方案，它打破了人们对AI训练复杂性的固有印象。

这项研究的核心发现颠覆了业界的传统认知。以往的AI推理模型训练就像是一个需要精密调试的复杂机器，需要各种复杂的调节器和控制装置。而ORZ证明，最简单的方法往往是最有效的。研究团队使用了被称为"香草PPO"（vanilla PPO）的基础算法，配合最直接的奖励机制，就像用最基本的食材制作出了营养丰富的美食。

最令人印象深刻的是效率表现。当使用相同的基础模型Qwen2.5-32B时，ORZ只需要DeepSeek-R1-Zero十分之一的训练步数，就能在AIME2024、MATH500和GPQA Diamond等权威测试中取得更好的成绩。这就像是同样的原材料，别人需要十个小时才能完成的工作，ORZ只需要一个小时就能做得更好。

一、推理训练的新思路：从零开始的艺术

传统的AI推理模型训练通常分为两个阶段，就像培养一个学生，先要教会基础知识（预训练），再教会解题技巧（强化学习）。但ORZ采用了一种全新的"Reasoner-Zero"范式，直接在基础模型上进行大规模强化学习训练，跳过了中间的复杂步骤。

这种做法最初看起来风险很大，就像让一个从未接触过数学的人直接去解高等数学题。然而，研究结果表明，基础模型本身就具备了惊人的学习潜力。当给它们提供正确的训练环境和奖励机制时，它们能够快速掌握推理技能，甚至比那些经过复杂预处理的模型表现更好。

研究团队选择了Qwen2.5系列的基础模型作为起点，这些模型就像是具有良好天赋但尚未开发的学生。通过精心设计的训练过程，这些模型学会了如何进行逐步推理、自我反思，以及在遇到困难时重新思考问题的方法。

有趣的是，研究发现即使是最小的0.5B参数模型也能从这种训练中获益。这意味着这种方法具有很强的普适性，不仅适用于大型模型，也能让较小的模型获得显著的推理能力提升。这为资源有限的研究团队和开发者提供了新的可能性。

二、极简主义的威力：越简单越有效

ORZ的核心哲学是"极简主义"，这听起来可能有些反直觉。在大多数人的印象中，复杂的AI训练需要复杂的方法来支撑。然而，这项研究发现，最简单的PPO算法配合最直接的参数设置，反而能够实现最稳定和最高效的训练。

具体来说，研究团队使用了PPO算法中最基础的设置：GAE参数λ和γ都设为1。在技术层面，这意味着算法完全捕获长期依赖关系，这对推理任务至关重要。用更通俗的话说，就像教学生解题时，不急于求成，而是让他们充分思考每一个步骤，理解整个解题过程的逻辑。

更令人惊讶的是，ORZ完全抛弃了传统训练中常用的KL正则化技术。KL正则化就像是给学生设置的"安全绳"，防止他们的思维偏离太远。但研究发现，去掉这根"安全绳"反而让模型能够更自由地探索和学习，从而获得更好的性能。

在奖励设计方面，ORZ也秉承了极简原则。它只使用最基本的对错判断：答案正确得1分，错误得0分。没有复杂的分级评分，没有格式要求，就像最简单的是非题。但正是这种简单直接的反馈机制，让模型能够快速理解什么是正确的推理方向。

三、数据规模的秘密：质量与数量的平衡

虽然ORZ在算法设计上追求极简，但在数据准备方面却毫不马虎。研究团队精心收集和整理了数万个高质量的数学和推理问题，涵盖了从基础算术到高级数学竞赛的各个难度层次。

这个数据集的构建过程就像是为学生准备一套完整的练习册。研究团队从多个权威来源收集题目，包括AIME数学竞赛、MATH数据集、以及各种公开的数学论坛。但与简单的数据堆砌不同，他们对每个问题都进行了仔细筛选，确保问题的质量和答案的准确性。

特别值得注意的是，研究团队排除了那些难以用简单规则验证答案的问题，比如开放式的证明题。这样做的目的是确保训练过程中的反馈信号足够清晰和准确。就像在教学中，如果题目本身就存在歧义，那么再好的学生也难以获得正确的学习方向。

实验结果清楚地显示了数据规模的重要性。当使用ORZ的57k大规模数据集时，模型的性能能够持续改善，没有出现饱和现象。而当使用传统的MATH训练集（仅7.5k题目）时，模型很快就遇到了性能瓶颈。这说明在推理训练中，数据的数量和多样性都至关重要。

四、训练过程中的智慧发现：批评家模型的妙用

ORZ采用的PPO算法有一个独特的组件叫做"批评家"（critic），这个概念可能听起来很抽象，但实际上它的作用非常直观。想象一下，当学生在解题时，除了学生本身，还有一个经验丰富的老师在旁边观察和评估。这个老师不直接给出答案，而是评估当前的解题思路是否在正确的轨道上。

研究团队通过深入分析发现，这个"批评家"模型具有了一种令人惊讶的能力：它能够识别和抑制重复性的无意义文本。当模型开始产生重复的内容或陷入循环思维时，批评家会给出较低的评分，从而引导模型回到正确的推理轨道上。

这种机制的重要性在与其他方法的对比中变得更加明显。研究团队比较了PPO和另一种叫做GRPO的算法，发现GRPO在训练过程中容易出现不稳定现象，模型会突然开始产生大量重复文本，导致训练失败。而PPO的批评家机制有效地防止了这种问题的发生。

通过可视化分析，研究团队展示了批评家模型如何给不同类型的文本片段打分。对于逻辑清晰、推理连贯的文本，批评家给出高分；对于重复性强、没有推进的文本，批评家给出低分。这种自动的质量控制机制是ORZ能够稳定训练的关键因素之一。

五、令人惊叹的性能表现：少量训练换来卓越结果

ORZ的性能表现可以用"事半功倍"来形容。在标准的数学推理测试中，ORZ-32B模型在AIME2024测试中达到了48.1%的准确率，在MATH500测试中达到了92.2%的准确率，在GPQA Diamond测试中达到了55.5%的准确率。这些成绩不仅超越了使用相同基础模型的DeepSeek-R1-Zero，而且使用的训练时间仅为后者的十分之一。

更令人印象深刻的是，ORZ展现出了优秀的规模可扩展性。从0.5B到32B参数的各个模型规模都能从这种训练方法中获益，而且性能提升几乎呈线性关系。这意味着这种方法不是偶然成功，而是具有深层的科学原理支撑。

在训练过程中，研究团队观察到了一个有趣的现象：模型的回答长度与训练质量呈正相关关系。随着训练的进行，模型不仅变得更准确，而且开始产生更详细、更有深度的推理过程。特别是那些包含反思和重新思考的回答，往往具有更高的准确性。

除了在专业推理测试中的优秀表现，ORZ还在通用知识测试中表现出色。在MMLU和MMLU_PRO等综合测试中，ORZ-32B的表现甚至超过了经过专门指令调优的Qwen2.5-32B-Instruct模型。这说明推理能力的提升对模型的整体智能水平都有积极影响。

六、开源精神的体现：让人人都能训练推理模型

ORZ项目最值得称赞的地方之一是它的完全开源特性。研究团队不仅公开了完整的源代码，还提供了训练数据、模型权重，甚至包括批评家模型的权重。这种开放性在当前AI领域并不常见，特别是在推理模型这样的前沿领域。

开源的意义远不止于代码共享。研究团队提供的完整训练配置和超参数设置，让其他研究者能够轻松复现实验结果。这种可复现性是科学研究的基石，也是推动整个领域进步的关键。任何有兴趣的研究团队都可以基于这些资源进行进一步的探索和改进。

特别值得一提的是，ORZ的计算需求相对较低。相比于一些需要巨大计算资源的训练方法，ORZ的极简设计使得中小型研究团队也能够承担相应的计算成本。这种可访问性对于推动AI推理技术的普及具有重要意义。

研究团队还提供了详细的技术文档和教程，包括从数据准备到模型训练的完整流程。这些资源对于想要入门AI推理模型训练的研究者来说是宝贵的学习材料。通过这种知识分享，ORZ项目正在构建一个推理AI研究的开放生态系统。

七、技术细节的深度剖析：简单背后的科学原理

虽然ORZ追求极简，但这种简单并非草率，而是基于深入的技术理解和大量实验验证的结果。研究团队进行了详尽的消融实验，系统性地验证了每个设计选择的合理性。

在GAE参数的选择上，研究团队比较了不同的λ值设置。实验发现，λ=1的设置在训练稳定性和最终性能方面都明显优于λ=0.95的设置。这个看似微小的参数差异，实际上反映了在推理任务中完整捕获长期依赖关系的重要性。每一个推理步骤都可能影响最终答案的正确性，因此不能过早地对未来奖励进行折扣。

关于KL正则化的选择，研究团队的实验清楚地显示了去除KL约束的好处。传统的强化学习中使用KL正则化是为了防止策略偏离过远，但在推理任务中，这种约束反而限制了模型的探索能力。去除KL正则化后，模型能够更自由地学习新的推理模式，从而获得更好的性能。

在数据规模的影响方面，研究团队的对比实验展示了令人信服的结果。使用ORZ的大规模数据集时，模型性能呈现持续上升趋势，没有明显的饱和迹象。这与使用小规模数据集时出现的早期饱和形成了鲜明对比，证明了数据多样性和规模对推理训练的关键作用。

研究团队还对不同模型规模进行了系统性研究，从0.5B到32B参数的模型都显示出了一致的改进模式。这种跨规模的一致性表明，ORZ的训练方法具有良好的可扩展性，不依赖于特定的模型规模或架构。

八、实际应用的前景：从学术研究到现实价值

ORZ的成功不仅在学术层面具有重要意义，其实际应用前景也非常广阔。首先，在教育领域，这种高效的推理模型训练方法可以帮助开发更智能的辅导系统。这些系统不仅能够解答学生的问题，还能提供详细的解题思路和推理过程，真正帮助学生理解知识而不是简单地给出答案。

在科学研究领域，ORZ展示的推理能力可以应用于假设生成、实验设计和结果分析等环节。研究人员可以利用这种模型来辅助复杂问题的分析，特别是在需要多步逻辑推理的场景中。虽然模型不能替代人类的创造性思维，但它可以作为强有力的思维工具，帮助研究人员探索更多的可能性。

在商业应用方面，ORZ的高效训练特性使得企业能够以相对较低的成本训练定制化的推理模型。无论是金融分析、法律咨询还是技术支持，都可以基于ORZ的框架开发专门的应用系统。这种可定制性和成本效益使得AI推理技术有可能真正普及到中小企业。

值得注意的是，ORZ在训练过程中表现出的稳定性和可预测性，使得它特别适合于那些对可靠性要求较高的应用场景。传统的AI训练往往存在不确定性，而ORZ的极简设计减少了出错的可能性，提高了训练结果的可信度。

九、未来发展的方向：从基础突破到更大愿景

研究团队在论文中提出了对未来发展的明确规划，这些方向不仅体现了技术发展的自然延伸，也反映了对AI推理能力更深层次的思考。

在数据扩展方面，团队计划探索如何通过增加数据的数量、质量和多样性来进一步提升模型的推理能力。这不仅仅是简单的数据堆叠，而是要建立一个更加丰富和平衡的训练生态系统。他们希望通过开源社区的力量，共同贡献和分享高质量的训练数据，形成一个良性的发展循环。

在模型规模方面，虽然当前的研究已经覆盖了从0.5B到32B的参数范围，但团队认为还有进一步探索的空间。更大的模型可能具备学习更复杂推理模式的能力，而多模态的扩展则可以让模型处理不仅仅是文本，还包括图像、数学公式等多种信息类型的推理问题。

测试时计算的扩展是另一个重要方向。目前的模型主要在训练时学习推理能力，但如何在推理时动态分配计算资源，如何通过多轮对话深化推理过程，如何利用多个模型的协作来解决更复杂的问题，这些都是值得探索的领域。

最雄心勃勃的目标是场景扩展。团队希望将推理能力从数学和逻辑问题扩展到更广泛的领域，包括创意写作、科学发现和社会交互等。这需要对推理本身有更深入的理解，也需要开发更加通用和灵活的训练框架。

说到底，ORZ项目展示的不仅仅是一种新的训练方法，更是一种研究理念的转变。它证明了在AI发展的道路上，有时候回归基础、追求简洁反而能够带来更大的突破。就像物理学中的奥卡姆剃刀原理一样，最简单的解释往往最接近真理。

这项研究给整个AI社区带来的启示是深刻的。它告诉我们，不是所有的进步都需要更复杂的架构或更巧妙的技巧，有时候最重要的是找到问题的本质，然后用最直接的方法去解决它。ORZ的成功可能会激发更多研究者重新审视那些看似"过时"或"简单"的方法，在其中发现新的可能性。

对于普通人来说，这项研究意味着AI推理技术正在变得更加民主化和可访问。随着训练成本的降低和开源资源的丰富，我们可能很快就会看到各种各样基于这种技术的应用出现在日常生活中。从智能助手到教育工具，从科研辅助到创意支持，AI推理能力的普及将会改变我们与信息和知识交互的方式。

归根结底，ORZ项目体现了科学研究的精神：保持好奇心，勇于质疑常规，追求简洁和优雅的解决方案。正如研究团队在论文中引用的"苦涩教训"所说，长远来看，唯一重要的是能够随着计算和数据的增加而有效扩展的方法。而ORZ正是这样一种方法——简单、有效、可扩展，为AI推理的未来发展指明了一条清晰的道路。

有兴趣深入了解这项研究的读者，可以通过GitHub项目页面和HuggingFace模型库获取完整的代码、数据和模型资源，亲自体验这种革命性的训练方法。

Q&A

Q1：Open-Reasoner-Zero是什么？它与传统AI训练有什么不同？ A：Open-Reasoner-Zero是一种极简的AI推理模型训练方法，直接在基础模型上进行强化学习训练，跳过了复杂的预处理步骤。它使用最基础的PPO算法和简单的对错奖励机制，却能以十分之一的训练时间达到甚至超越复杂方法的效果。

Q2：为什么简单的方法反而比复杂的方法更有效？ A：研究发现，复杂的约束和调节机制（如KL正则化）反而限制了模型的学习能力。简单的方法让模型能够更自由地探索推理空间，而PPO算法中的"批评家"组件能够自动识别和抑制无意义的重复内容，保证训练质量。

Q3：普通研究者能使用这个方法吗？需要什么条件？ A：是的，这正是Open-Reasoner-Zero的一大优势。它完全开源，计算需求相对较低，中小型研究团队也能承担。研究团队提供了完整的代码、数据、模型权重和详细文档，任何人都可以通过GitHub和HuggingFace平台获取这些资源并进行复现实验。