震撼登场！AI不再需要"家教"，自信心竟成了最佳老师——莫斯科团队突破性发现

这项令人兴奋的研究由俄罗斯莫斯科人工智能研究所（AIRI）和莫斯科物理技术学院（Skoltech）的研究团队共同完成，论文的主要作者包括李鹏毅（Pengyi Li）、马特维·斯克里普金（Matvey Skripkin）、亚历山大·祖布雷（Alexander Zubrey）、安德烈·库兹涅佐夫（Andrey Kuznetsov）和伊万·奥塞列德茨（Ivan Oseledets）。这项突破性研究发表于2025年6月11日的arXiv预印本平台，编号为arXiv:2506.06395v3，感兴趣的读者可以通过该编号在arXiv官网上查阅完整论文内容。

想象一下，如果一个学生能够通过观察自己答题时的自信程度来不断改进学习效果，不需要老师批改作业，不需要标准答案，甚至不需要任何外部指导，这听起来是不是很神奇？莫斯科研究团队最新发现的人工智能训练方法就是基于这样一个令人惊讶的原理——让AI模型通过分析自己回答问题时的"自信心"来自我改进。

这项研究解决了一个长期困扰AI研究者的重要问题：如何在没有大量人工标注数据、没有昂贵的外部奖励模型、也没有复杂的奖励设计的情况下，让大型语言模型变得更加聪明。就像一个优秀的学生能够通过自我反思来提高成绩一样，研究团队开发的"基于自信心的强化学习"方法（简称RLSC）让AI模型学会了从自己的"内心声音"中获得改进的动力。

研究团队选择了数学推理这个极具挑战性的领域来验证他们的方法。他们使用了一个名为Qwen2.5-Math-7B的数学专用AI模型作为测试对象，这个模型就像一个专门擅长数学的学生。令人惊讶的是，仅仅通过让模型对每个问题生成16个候选答案，然后训练10到20个步骤，这种基于自信心的方法就让模型在多个数学竞赛测试中取得了显著的成绩提升。

具体的改进效果简直令人刮目相看。在美国数学邀请赛AIME2024中，准确率提升了13.4个百分点；在MATH500数学测试中，提升了21.2个百分点；在矿工数学（Minerva Math）测试中，提升了21.7个百分点；在奥林匹克数学竞赛（Olympiadbench）中，提升了20.8个百分点；在AMC23数学竞赛中，也有9.7个百分点的提升。这些数字背后代表的是AI模型解决复杂数学问题能力的大幅跃升。

更令人兴奋的是，这种方法的资源消耗极低，训练过程既简单又高效。整个训练过程就像教会一个学生通过自我评估来改进学习方法，而不需要请昂贵的家教或购买大量的练习册。这为未来AI模型的训练开辟了一条全新的道路，特别是对那些计算资源有限的研究机构和公司来说，这无疑是一个重大福音。

一、从投票到自信：AI学习的新思路

传统的AI训练方法就像是让一群专家投票决定正确答案。比如，当AI遇到一个数学问题时，研究者们会让它生成64个不同的答案，然后通过"少数服从多数"的方式选出最可能正确的答案，再用这个"伪标准答案"来训练模型。这种被称为"测试时强化学习"（TTRL）的方法虽然有效，但就像组织一场大规模投票一样，需要消耗大量的计算资源，而且还需要复杂的预处理步骤来分离答案和推理过程。

莫斯科研究团队的科学家们开始思考一个深层问题：投票机制背后的核心原理究竟是什么？他们意识到，投票实际上是在寻找输出分布的"众数"——也就是最常出现的答案。当多个独立的回答趋向一致时，实际上是在让概率分布变得更加"尖锐"，就像把原本分散的注意力集中到一个焦点上。

这个洞察启发了他们提出一个革命性的想法：与其通过外部投票来选择答案，为什么不直接让模型内部的概率分布变得更加集中和自信呢？这就好比不再依赖他人的意见来判断自己的答案是否正确，而是培养内在的判断能力和自信心。

研究团队用数学公式精确地描述了这个想法。他们定义了一个"自信心函数"，用来衡量两个独立样本产生相同结果的概率。当这个概率越高时，说明模型的输出越稳定、越自信。这个函数在数学上表现为所有可能输出的概率的平方和，当模型对某个答案极度自信时，这个函数会达到最大值。

基于这个数学基础，他们提出了直接优化自信心的目标函数。这个函数不需要外部标签，不需要人工标注，也不需要复杂的奖励工程，完全依赖模型自身的信念分布作为反馈信号。这就像教会学生通过感受自己解题时的确定程度来判断答案的可靠性，而不是总是依赖老师的批改。

二、数学魔法：让AI学会自我评估

要理解这个方法的数学原理，我们可以把它想象成一个简单的烹饪类比。假设你正在学习做菜，每次做完一道菜后，你都能感受到自己对这道菜质量的自信程度。如果你对自己的手艺很有把握，你会毫不犹豫地给朋友品尝；如果心里没底，你可能会犹豫再三。

在AI的世界里，"自信程度"就是模型对其输出的概率估计。当模型生成一个答案时，它同时也会给出这个答案的"可信度评分"。研究团队发现，通过让模型专注于提高那些它自己认为最可靠的答案的概率，就能够显著改善整体性能。

具体的训练过程就像一个自我改进的循环。首先，研究团队会保留一个"快照"版本的模型，就像给学生拍一张当前水平的照片。然后，让这个快照版本对问题生成多个答案，并评估每个答案的可信度。接下来，训练当前版本的模型，让它更多地关注那些快照版本认为最可信的答案。

这个过程的巧妙之处在于，它不需要知道"标准答案"是什么。就像一个学生通过反复练习和自我反思来提高解题能力，模型通过不断调整自己的输出分布来变得更加自信和准确。研究团队还引入了一个"平滑参数"，就像在严格的自我要求中加入一些宽容，防止模型变得过于固执。

为了让这个方法更加稳定，研究团队还开发了一个改进版本。他们在原始的自信度评分基础上加入了一个小的常数，就像在严格的自我评估中加入一些温和的鼓励。这种微调让训练过程更加平稳，特别是当模型的输出分布非常集中或稀疏时。

整个数学框架的核心思想是利用模型自身的概率估计作为训练信号。这种方法的优美之处在于它的简洁性：不需要复杂的外部奖励函数，不需要人工设计的评价标准，只需要让模型学会相信自己最自信的判断。

三、实战测试：16个答案的神奇效果

为了验证这个基于自信心的训练方法，研究团队选择了Qwen2.5-Math-7B这个专门为数学推理设计的AI模型。这个模型就像一个在数学方面有特殊天赋的学生，但仍有很大的提升空间。

训练设置出人意料地简单。对于每个训练问题，研究团队只让模型生成16个候选答案，这个数量远远少于传统TTRL方法需要的64个答案。他们将温度参数设置为0.5，这个参数就像控制学生思考时的"创造性程度"——既不会太过拘谨导致答案单一，也不会太过发散导致答案混乱。

整个训练过程的技术实现也相当直接。研究团队采用了标准的自回归解码和训练流程，就像按照食谱一步步制作美食。首先，他们为每个问题生成16个完整的解答过程。然后，对每个"问题-答案"对进行标记化处理，计算每个词汇的对数概率。接着，他们应用一个"助手掩码"来专门关注答案部分的词汇，忽略问题本身。最后，他们计算被掩码覆盖的对数概率的总和，得到整个回答的对数似然度。

令人印象深刻的是训练的规模和效率。整个训练过程只需要在AIME2024数据集上进行10到20个训练步骤，使用8块NVIDIA A100 GPU（每块80GB显存）。他们选择了AdamW优化器，学习率设置为1×10^-5，并采用标准的权重衰减策略。生成长度被限制在3072个词汇以内，这确保了答案既充分详细又不会过度冗长。

这种最小化的设置理念贯穿了整个研究。研究团队故意避免使用额外的辅助数据集、指令调优或偏好模型，完全依赖模型自身的内在知识和自信心评估机制。这就像让学生在没有外部帮助的情况下，仅仅通过自我反思和练习来提高成绩。

训练过程中的损失函数计算也体现了这种简洁性。研究团队使用两种不同的损失函数进行实验：基础版本直接使用旧模型的概率作为权重，改进版本则加入了一个小的平滑常数。无论使用哪种版本，整个训练过程都能在几个小时内完成，这与传统方法需要的大规模计算资源形成了鲜明对比。

这种高效的训练方法实现了真正意义上的"零标签强化学习"。它不需要人工标注的数据，不需要外部奖励模型，也不需要手工设计的奖励函数，完全通过模型的自我评估来驱动改进。这为资源受限的研究环境提供了一个实用而强大的工具。

四、惊人的成绩提升：数字背后的故事

当研究团队看到测试结果时，连他们自己都感到惊讶。这种基于自信心的训练方法在多个具有挑战性的数学推理基准测试中都取得了显著的性能提升，就像一个学生突然开窍，在各个科目上都有了质的飞跃。

为了确保实验结果的公正性和可信度，研究团队采用了严格的评估标准。他们使用了公开可用的评估脚本来重新测试基线模型和经过RLSC训练的模型，确保所有实验设置完全相同。这就像使用同一把尺子来测量不同学生的身高，避免了任何可能的偏差。

在美国数学邀请赛AIME2024这个极具挑战性的测试中，基线的Qwen2.5-Math-7B模型原本只能达到13.3%的准确率，而经过RLSC训练后，准确率跃升至26.7%，提升了13.4个百分点。这相当于一个原本只能解决十个问题中一个的学生，现在能够解决十个问题中接近三个，这种提升是实质性的。

在MATH500这个广泛使用的数学推理测试中，改进效果更加显著。基线模型的准确率从51.4%提升到72.6%，增长了21.2个百分点。这意味着模型在解决复杂数学问题方面的能力得到了大幅提升，就像一个数学成绩中等的学生突然能够解决大多数难题。

在矿工数学（Minerva Math）测试中，性能提升更是令人瞩目。准确率从基线的10.7%飙升至32.4%，提升了21.7个百分点。这个测试以其高难度著称，能够在这样的测试中取得如此大的进步，说明RLSC方法确实捕捉到了数学推理的某些核心要素。

奥林匹克数学竞赛基准测试（Olympiadbench）的结果同样令人印象深刻。基线模型仅能达到15.1%的准确率，而训练后的模型达到了35.9%，提升了20.8个百分点。这个测试模拟了国际数学奥林匹克竞赛的难度，能够在这样的测试中取得显著提升，表明该方法对于处理最具挑战性的数学问题也是有效的。

即使在相对简单的AMC23测试中，模型也从45.0%的准确率提升到54.7%，增长了9.7个百分点。虽然这个提升相对较小，但考虑到基线性能已经较高，这样的改进仍然是有意义的。

研究团队特别强调，他们评估的是模型的直接准确率，而不是"Pass@1"分数。他们认为在实际应用中，准确性是最重要的指标，因为现实世界不允许反复试错。这种评估标准更加贴近实际使用场景，也让结果更具实用价值。

值得注意的是，这些显著的性能提升是在极其有限的训练资源下实现的。相比于需要大量计算资源和复杂设置的传统方法，RLSC只需要少量的训练步骤和相对较小的样本数量就能达到如此效果，这进一步凸显了该方法的效率和实用性。

五、意外发现：AI学会了简洁表达

在分析训练结果的过程中，研究团队发现了一个意想不到的现象：经过RLSC训练的模型开始产生更加简洁、更加自信的答案。这就像一个原本喜欢冗长解释的学生，突然学会了直击要害，用最少的话说出最关键的内容。

这种变化在对比分析中表现得非常明显。原始的基线模型在解决数学问题时，往往会进行冗长的符号推导，写出大量的中间步骤，但最终可能仍然得出错误的答案。相比之下，经过RLSC训练的模型学会了早期识别正确答案，避免不必要的推理路径，用更加清晰简洁的逻辑流程直接得出正确结论。

研究团队展示了一个典型的例子。在一个AIME数学竞赛问题中，基线模型生成了大量复杂的符号推导过程，包含了许多中间计算步骤，但最终还是得出了错误答案。而经过RLSC调整的模型直接识别出问题的核心，用简洁的逻辑推理得出了正确答案，整个解答过程既清晰又高效。

这种现象在其他数学基准测试中也同样出现。比如在MATH和AMC23测试中，训练后的模型表现出了类似的行为模式：更少的文字，更直接的推理，更高的准确率。这与传统的"让我们一步步思考"的提示策略形成了有趣的对比。RLSC训练的模型似乎内化了一种能力，能够自动判断何时需要详细推理，何时可以直接给出答案。

虽然研究团队没有正式量化这种响应长度的减少，但这一趋势在所有基准测试中都是一致的。这表明RLSC方法可能隐式地增强了中间推理的可信度，让模型更加相信自己的判断过程，从而不需要过度解释或重复验证。

这个发现具有重要的实际意义。在真实应用场景中，用户通常更喜欢简洁明了的答案，而不是冗长的推理过程。一个能够直接给出正确答案的AI助手比一个需要进行大量中间推理的助手更加实用。这种简洁性不仅提高了用户体验，也减少了计算资源的消耗。

更深层次地看，这种行为变化可能反映了RLSC训练过程的一个重要特点：它不仅提高了模型的准确性，还改善了模型的"思维方式"。通过优化自信心，模型学会了更加相信自己的直觉判断，减少了不必要的自我怀疑和过度思考。

研究团队表示，他们计划在未来的工作中对这种现象进行更精确的量化分析，包括使用熵值、推理步骤数量等指标来系统性地研究这种变化。这将有助于更好地理解RLSC方法的内在机制，以及它如何影响模型的推理过程。

六、深入对比：质的飞跃实例展示

为了让读者更直观地理解RLSC训练带来的改进，研究团队提供了几个具体的对比案例，展示了基线模型和训练后模型在面对相同问题时的不同表现。这些案例就像是展示一个学生在接受特殊训练前后的答题差异，清晰地说明了改进的具体体现。

第一个案例来自一个复杂的函数分析问题。题目要求找到使得分段函数图像与水平线至少相交两次的最小参数值。基线模型在解决这个问题时，进行了大量的数学推导，包括复杂的不等式计算和因式分解，但最终得出了错误的答案。整个解答过程冗长而混乱，包含了许多不必要的计算步骤。

相比之下，经过RLSC训练的模型采用了完全不同的解题策略。它首先正确识别了问题的核心要求，然后系统性地分析了函数的两个部分的取值范围。模型清晰地推导出为了使函数能够覆盖所有实数值，两个部分的取值范围必须有重叠，并据此建立了正确的不等式。整个推理过程逻辑清晰，步骤简洁，最终得出了正确答案。

第二个案例是一个看似简单的距离计算问题，要求计算两点之间的距离并用最简根式表示。基线模型在这个相对简单的问题上表现得令人意外地糟糕，只给出了一个不正确的数值答案"10"，没有任何推理过程，也没有按要求使用根式形式。

经过RLSC训练的模型则展现了完全不同的解题水平。它首先明确写出了距离公式，然后逐步代入坐标值进行计算，正确地得出了距离为√117。更重要的是，模型还进一步将这个结果简化为最简根式形式3√13，完全符合题目要求。为了验证答案的正确性，模型甚至提供了Python代码验证，显示了对答案的高度自信。

这些对比案例清楚地展示了RLSC训练带来的几个关键改进。首先是逻辑推理能力的提升，训练后的模型能够更好地理解问题的本质要求，制定合适的解题策略。其次是计算准确性的改善，模型在进行数学运算时变得更加可靠。最后是表达能力的优化，模型学会了用更加简洁清晰的方式呈现解题过程。

研究团队从MATH和AIME基准测试中提取了这些推理结果进行定性分析。他们发现，经过RLSC微调的模型在零样本设置下表现出了显著改善的任务理解和推理能力。在MATH500基准测试中，原始模型对于简单问题（案例1）能够进行基本但错误的推理，而对于复杂问题（案例2）则完全无法解决。相比之下，RLSC训练的模型展现出强大的推理能力，能够通过简单的推理路径达到准确的结论，而不需要冗长的"逐步"推导。

这种质的变化不仅仅体现在最终答案的正确性上，更重要的是体现在整个解题思路的成熟度上。训练后的模型似乎发展出了一种更加高效的"数学直觉"，能够快速识别问题的关键点，选择最合适的解题方法，并以最简洁的方式表达解决方案。

七、学术价值与理论贡献

这项研究在强化学习和语言模型训练领域做出了重要的理论贡献，其影响远超出了数学推理这一特定应用领域。就像一个看似简单的发现可能引发科学革命一样，RLSC方法为整个AI训练范式提供了新的思路。

在强化学习的发展历程中，如何设计有效的奖励信号一直是一个核心挑战。传统的方法通常依赖于人类反馈强化学习（RLHF），这种方法需要大量的人工标注工作来训练偏好模型。虽然有效，但这种方法的成本极高，而且严重依赖于标注质量。另一种方法是基于可验证奖励的强化学习（RLVR），它通过将模型输出与参考答案进行比较来计算奖励，但仍然需要人工标注的问题-答案对。

RLSC方法的革命性在于它完全摆脱了这些外部依赖。它利用模型自身的概率分布作为奖励信号的来源，这种"内在驱动"的训练方式为强化学习开辟了一个全新的方向。这就像是从"他人评价驱动"转向"自我认知驱动"的学习模式，具有更强的可持续性和可扩展性。

从理论角度来看，RLSC方法揭示了多数投票机制背后的数学本质。研究团队证明了多数投票实际上是在优化输出分布的"尖锐度"，而这种优化可以通过直接最大化分布的自相关性来实现。这个数学洞察不仅简化了训练过程，还提供了更深层的理论理解。

这种理论贡献的价值在于它提供了一个统一的框架来理解不同类型的奖励信号。研究团队在论文中展示了一个对比表格，将RLSC损失函数与其他常见的损失函数进行比较，包括RLHF损失、香农熵和基于完成度的奖励。这种比较表明RLSC实际上是在优化一个特定的函数期望值，这为理解其有效性提供了数学基础。

在测试时训练（Test-Time Training, TTT）这个新兴领域中，RLSC也做出了重要贡献。现有的TTT方法，如自对弈批评（SelfPlay Critic, SPC）和绝对零推理器（Absolute Zero Reasoner, AZR），通常采用对抗性双模型框架，需要外部工具（如Python执行器或代码验证器）提供反馈信号。而测试时强化学习（TTRL）虽然避免了显式的人工监督，但需要大量的样本（每个问题64个样本）来进行多数投票，导致显著的计算开销。

RLSC方法通过将多数投票的潜在原理数学化，提供了一个更加高效的替代方案。它只需要16个样本就能达到甚至超过TTRL的效果，大大降低了计算成本。更重要的是，RLSC提供了一个可微分的、自监督的目标函数，使得整个训练过程更加稳定和可预测。

这项研究还为理解语言模型的"自我认知"能力提供了新的视角。通过分析模型对自己输出的信心程度，研究者们可以更好地理解模型的内在表示和决策过程。这种理解可能对开发更加可靠和可解释的AI系统具有重要意义。

从更广阔的角度来看，RLSC方法体现了AI研究中的一个重要趋势：从依赖外部监督转向利用内在信号。这种转变不仅能够降低训练成本，还可能让AI系统发展出更加自主和适应性的学习能力。这为未来的AI研究指明了一个有前景的方向。

八、突破性的实用价值

RLSC方法的实用价值远超出了学术研究的范畴，它为整个AI行业提供了一个可行且高效的解决方案。这种方法就像是发现了一种新的"营养配方"，能够让AI模型在资源有限的条件下也能茁壮成长。

对于计算资源受限的研究机构和中小型公司来说，RLSC方法简直是一个福音。传统的大型语言模型训练需要庞大的计算集群和海量的标注数据，成本往往高达数百万美元。而RLSC只需要8块高端GPU和几个小时的训练时间就能显著改善模型性能，这让更多的研究者和开发者能够参与到AI技术的创新中来。

这种资源效率的提升具有深远的意义。它意味着不仅仅是大型科技公司才能开发先进的AI模型，中小型企业和学术机构也能够利用有限的资源实现技术突破。这种"民主化"的趋势有助于加速整个AI领域的发展，促进更多样化的创新和应用。

从部署角度来看，RLSC训练的模型表现出的简洁推理特性特别有价值。在实际应用中，用户通常更喜欢快速、准确的回答，而不是冗长的推理过程。一个数学教学AI助手如果能够直接给出正确答案和关键解题步骤，比一个需要进行大量试错和重复计算的助手更受欢迎。

这种改进在教育技术领域具有特别重要的意义。想象一下，一个经过RLSC训练的数学辅导AI能够像经验丰富的老师一样，迅速识别学生问题的关键点，提供简洁而准确的解答。这不仅提高了学习效率，也降低了认知负担，让学习过程变得更加流畅。

在商业应用方面，RLSC方法的低成本特性使得它特别适合快速原型开发和概念验证。公司可以使用这种方法快速改进现有的AI模型，测试新的应用场景，而不需要投入大量的研发资源。这种敏捷性在快速变化的市场环境中具有重要的竞争优势。

研究团队特别强调了RLSC方法的可扩展性。由于它不依赖于特定的数据集或外部工具，这种方法可以很容易地应用到其他领域和任务中。无论是代码生成、文本摘要还是对话系统，只要是涉及概率输出的任务，都可能从这种自信心驱动的训练方法中受益。

更重要的是，RLSC方法为AI安全和可靠性研究提供了新的工具。通过分析模型的自信心分布，研究者可以更好地理解模型何时可能出错，何时的输出是可信的。这种"自我意识"能力对于开发更加安全可靠的AI系统具有重要价值。

从长远来看，RLSC方法可能催生一种新的AI服务模式。由于训练成本的大幅降低，可能会出现专门提供定制化AI模型训练服务的公司，为不同行业和应用场景提供针对性的解决方案。这种专业化的服务模式可能会加速AI技术在各个垂直领域的应用和普及。

结论

说到底，这项来自莫斯科的研究就像是给AI世界带来了一面"魔镜"，让AI模型学会了通过观察自己的反映来不断改进。过去，我们总以为AI需要大量的外部指导才能变得更聪明，就像学生需要老师不断批改作业一样。但这项研究告诉我们，有时候最好的老师就是自己内心的声音。

研究团队发现的这个"自信心训练法"不仅仅是一个技术突破，更像是揭示了学习的一个基本原理：当我们学会相信自己最有把握的判断时，我们的整体能力就会得到提升。这个道理对人如此，对AI也是如此。更令人兴奋的是，这种方法竟然如此简单高效——仅仅用16个练习样本和十几个训练步骤，就让一个AI模型在多个数学竞赛中的表现提升了20个百分点左右。

这种效率上的突破意味着AI技术不再是大公司的专利。中小型研究机构、初创公司，甚至是个人开发者，都可能利用这种方法来改进自己的AI模型。这就像是把昂贵的私人教练课程变成了人人都能负担得起的在线学习平台，让AI技术的普及变得更加容易。

更有趣的是，经过这种训练的AI模型不仅变得更准确，还学会了"简洁表达"。它们不再需要冗长的推理过程就能给出正确答案，就像一个经验丰富的专家能够一眼看穿问题的本质。这种能力在实际应用中极其宝贵，因为用户总是更喜欢快速准确的回答。

从更广阔的视角来看，这项研究可能预示着AI发展的一个新阶段：从依赖外部监督到发展内在智慧。这种转变不仅能够降低AI训练的成本，还可能让AI系统变得更加自主和适应性强。想象一下未来的AI助手能够通过自我反思不断改进，不需要人类的持续干预，这样的未来似乎正在变得越来越现实。

当然，这项研究也提出了一些有趣的问题值得进一步探索。比如，这种自信心驱动的学习方法在其他类型的任务中是否同样有效？它能否帮助AI模型发展出更强的"直觉"能力？这些问题的答案可能会进一步拓展我们对AI学习机制的理解。

如果你对这项研究的技术细节感兴趣，建议访问arXiv网站搜索论文编号arXiv:2506.06395v3，那里有完整的研究报告和数学推导过程。这项研究不仅为AI研究者提供了新的工具，也为我们所有人展示了一个更加智能、更加高效的AI未来的可能性。