评估真相大揭秘：DeepSeek推理模型在基准测试中的浮动陷阱

最近，来自多家研究机构的林孙、魏红林、金枝吴等研究人员发表了一篇题为《评估即为一切：通过评估设计战略性夸大LLM推理能力》的研究论文，该论文发表于2025年6月5日的arXiv预印本平台（arXiv:2506.04734v1）。这项研究深入探讨了一个令人担忧的现象：在评估大语言模型推理能力时，微小的评估条件变化可能导致基准测试结果产生显著波动，从而使模型性能声明的可靠性受到质疑。

一、研究背景：当评估不再可靠

想象一下，你正在挑选一款智能手机。销售人员向你展示了各种性能测试的结果，证明这款手机性能卓越。但如果你后来发现，这些测试结果会因为测试时手机放置的角度、室内温度或测试人员的不同而大幅波动，你还会相信这些数据吗？在人工智能领域，特别是针对大语言模型的推理能力评估中，正在发生类似的情况。

DeepSeek-R1-Distill系列模型因其在数学、科学和编程等领域的出色表现，在开源社区广受欢迎。然而，研究团队发现，对这些模型的基准测试结果极易受到各种微小因素的影响，导致结果大幅波动。例如，在评估过程中改变种子初始化方法、评估数据集版本等细微条件，就能使评估结果发生显著变化。这不仅影响DeepSeek系列模型，也影响基于它们微调的其他开源推理模型，如QwQ-32B等。

这一发现引发了一个严肃的问题：我们如何确保模型性能评估的公平性和可靠性？研究团队通过一系列精心设计的实验，揭示了当前评估实践中的漏洞，并提出了更为严格的评估范式。

二、实验设计：微小变化，巨大波动

研究团队选择了在Hugging Face平台上下载量超过500次的热门推理模型作为评估对象，包括32B规模的DeepSeek-R1-Distill-Qwen-32B和QwQ-32B，14B规模的DeepSeek-R1-Distill-Qwen-14B和DeepCoder-14B-Preview，7B规模的DeepSeek-R1-Distill-Qwen-7B和Light-R1-7B-DS，以及1.5B规模的DeepSeek-R1-Distill-Qwen-1.5B和DeepScaleR-1.5B-Preview等多个模型。

研究团队主要关注三个基准测试：AIME24、AIME25和GPQA Diamond，并系统考察了六个关键变量如何影响评估结果：

首先，研究人员探究了N的选择（即对同一问题进行N次推理并取平均值）对结果的影响。想象你在测量一个人的反应时间，做一次测量和做十次测量然后取平均值，结果自然会有所不同。研究发现，随着N值的增加，评估结果的波动逐渐减小，当N达到32时，波动通常能控制在1个百分点以内。然而，超过75%的实验仍然显示出超出基准波动范围的偏差。

其次，研究团队发现种子（seed）参数是影响模型稳定性的关键因素。这就像播种农作物时，不同的种子会生长出不同的植物。研究人员设计了一个固定种子N次推理的实验（称为1-Seed-N），发现在某些情况下，小规模模型使用特定种子甚至可以在某些基准测试上匹配或超越更大规模的模型，这表明在没有标准化种子控制的情况下，评估结果可能会反映出误导性的优势。

第三，研究团队考察了评估数据集版本的影响。他们发现，同一推理模型在不同版本的AIME评估数据集上的性能差异最高可达3.9个百分点。这就像用不同版本的数学考试试卷测试学生，结果自然会有所不同。有趣的是，包含完整图像信息的数据集通常能获得更好的评估分数，表明视觉描述对推理任务有积极贡献。

第四，研究者探讨了指令位置的影响。他们发现，虽然指令位置不会导致评估结果的剧烈变化，但仍然会引入波动，所有变化都在2个百分点以内。一般来说，将指令放在问题之后会产生更好的性能，可能与模型训练过程中使用的输入格式有关。

第五，研究团队研究了在GPQA Diamond多项选择题中，选项顺序和正确答案位置的影响。结果显示，尽管GPQA Diamond通常表现出相对较低的评估变异性，但改变选项顺序和答案位置在这项实验中引起了显著且一致的性能波动——大部分超过5个百分点。特别是，将正确答案放在第一个位置通常会提高模型性能。

最后，研究者考察了张量并行（Tensor Parallelism, TP）配置的影响。虽然改变TP设置对评估性能的影响有限，但为了可重现性，特别是在内存受限的环境中，明确指定此参数设置仍然很重要。

这些实验结果集体表明，在评估大语言模型推理能力时，我们需要更加谨慎和严格。

三、结果分析：波动的深层原因

研究人员通过对比实验发现，这些看似微小的评估条件变化可能导致基准测试结果大幅波动，最大波动范围甚至超过了模型训练本身带来的性能提升。这就像体育比赛中，因为天气、场地或裁判的不同，运动员的表现可能会有很大差异，使得真正的实力评估变得困难。

研究团队强调，当前的评估实践缺乏标准化和透明度，可能会误导开源社区的决策，导致开发人员在选择和部署模型时浪费大量计算资源和时间。

因此，研究团队提出了一个更加严格的评估范式，基于两个核心原则：透明性和稳定性。

四、提出解决方案：走向可靠评估

在透明性方面，研究团队建议评估结果不应仅仅呈现基准测试的比较表格，更重要的是披露所有可能影响评估结果的因素，包括评估方法、推理框架、参数设置、数据版本和硬件配置等。此外，在比较不同模型时，应该在相同的评估条件下重新产生基线模型的结果，而不仅仅是引用其官方报告的分数。

在稳定性方面，研究团队主张在发布评估结果时，应该强调模型在基准测试上的稳定性能，而不是峰值性能。随机种子等因素可能导致显著的方差，不能真实反映模型在实际使用中的体验。

研究团队还提出了一种理论基础来指导N值的选择。他们建议将模型在基准测试上的稳定性能视为其推理结果真实分布的近似值。根据中心极限定理，对于独立同分布的随机变量，标准化样本均值的抽样分布趋向于正态分布。这使得我们可以计算置信区间和置信水平，从而建立一个评估模型性能稳定性的标准范式。

研究团队提出了一个迭代程序来确定适当的N值： 1. 确定初始实验步长N?、显著性水平α和误差边界ε，同时固定评估环境。 2. 进行N?次重复试验，计算样本标准差s?，然后使用公式计算所需的试验次数N?。 3. 如果N? < N?，终止实验并输出当前结果。 4. 如果N? > N?，进行N?-N?次额外试验，并重复步骤2，直到满足步骤3中的条件。

基于这一程序，研究团队计算了DeepSeek-R1-Distill-Qwen系列模型在AIME24、AIME25和GPQA Diamond基准测试上的评估结果和最终所需的N值，结果显示，适当的N值依赖于特定的模型和基准测试组合。任意将N设置为16、32或64并不是一种严格或理论上有根据的做法。

五、研究启示：评估的真实意义

这项研究的核心启示在于，模型性能评估不应该仅仅是一个单点指标或"最佳情况"结果的展示，而应该是一个全面、透明、可靠的过程。研究团队强烈建议社区采用更加标准化和统计上有根据的方法来定义模型评估的最低实验协议，从而增强评估的公平性、可比性和可重现性。

通过这种方式，我们可以更准确地评估和比较不同模型的真实能力，避免被不稳定或经过精心调整的评估结果所误导。这不仅有助于研究者和开发者做出更明智的决策，也能促进整个人工智能领域的健康发展。

正如研究团队所强调的，我们需要"诚实地表达模型性能"，这才是我们真正需要的。