上海AI实验室推出超级评委AI：让机器像人类专家一样评判文本质量

这项由上海AI实验室的张韬林、曹茂松、Alexander Lam、张松阳和陈恺等研究人员共同完成的研究于2025年1月发表在arXiv预印本平台上。有兴趣深入了解的读者可以通过arXiv:2507.09104v1链接访问完整论文。

当你写了一篇文章或者完成了一项作业，最希望得到的是什么？当然是一个公正、专业的评价。但现实中，找到一个既懂行又有时间的专家来评判你的作品并不容易。现在，人工智能研究者们正在尝试解决这个问题——他们想要训练出一个"超级评委"，能够像人类专家一样准确地评判各种文本的质量。

这听起来像是科幻电影里的情节，但上海AI实验室的研究团队已经把它变成了现实。他们开发的CompassJudger-2就像是一个经过严格训练的超级评委，不仅能够准确评判文本质量，还能给出详细的分析和建议。更令人惊讶的是，这个7B参数的"小个子"评委，竟然能够与那些拥有数千亿参数的"巨无霸"模型相媲美。

要理解这项研究的重要性，我们需要回到一个基本问题：在人工智能快速发展的今天，如何准确评判AI生成内容的质量？传统的评估方法就像是用尺子量布料——对于标准化的任务还算管用，但面对千变万化的AI输出，这种方法显得力不从心。而人工评估虽然准确，但成本高昂且效率低下，就像让顶级厨师逐一品尝每道菜一样不现实。

研究团队面临的挑战可以用一个比喻来形容：他们需要培养一个万能评委，这个评委不仅要懂文学，还要懂科学；不仅要会评判创意写作，还要能分析技术文档；不仅要在中文环境下工作出色，在英文环境下也要表现卓越。这就像是要求一个人既是美食评论家，又是建筑师，同时还是音乐家——看似不可能的任务。

**一、数据收集与处理：搭建评委的知识基础**

就像培养一个优秀的评委需要让他接触各种类型的作品一样，研究团队首先要做的是为CompassJudger-2收集足够丰富和高质量的训练数据。这个过程就像是为未来的超级评委准备一个包罗万象的图书馆。

研究团队采用了一种巧妙的"双轨制"数据收集策略。第一轨是数据整理，他们从公开的评判数据集和奖励数据集中收集材料。但这里有个问题：许多现有的评判数据是由早期的AI模型生成的，就像是让一个刚学会写字的小学生去评判大学生的作文，难免会有偏差和错误。

为了解决这个问题，研究团队制定了一个时间分界线——2024年10月。他们把数据分为"过时数据"和"新鲜数据"两类。对于过时数据，他们使用更先进的Qwen2.5-72B-Instruct模型重新进行评判，然后与人工标注的标准答案进行比对，只保留那些准确的评判结果。这就像是让一个经验丰富的老师重新批改早期的试卷，确保每个评分都是准确的。

对于新鲜数据，研究团队采用了"模板替换"的方法来增加多样性。他们收集了ArenaHard、WildBench、MTBench等知名评估数据集的提示模板，然后用这些模板替换原有数据中的提示，就像是让同一个故事用不同的讲述方式重新表达，既保持了核心内容，又增加了表达的多样性。

第二轨是数据合成，这是一个更加创新的做法。研究团队主动创造新的评判数据，分为两个方向：知识型数据集和对话型数据集。

在知识型数据集方面，他们从标准化基准测试（如MMLU、CMMLU、GSM8K等）中收集模型输出，然后让Qwen2.5-72B-Instruct评估这些输出的正确性并提供详细的理由解释。这些评判随后会与标准答案进行验证，只有那些被证实正确的评估才会被保留。这个过程就像是让一个数学老师不仅要判断学生答案的对错，还要解释为什么对或为什么错。

在对话型数据集方面，研究团队生成了具有不同特征的回答对，然后指导Qwen2.5-72B根据特定的风格要求选择更优的回答。这就像是训练一个文学评论家，不仅要能判断哪篇文章写得更好，还要能根据不同的评判标准（比如创意性、准确性、可读性等）进行评估。

整个数据收集过程还包括了通用指令数据的整合。研究团队发现，单纯的评判能力训练可能会让模型在其他任务上表现下降，就像是专门训练跳高的运动员可能会在短跑上退步。为了保持模型的通用能力，他们在训练数据中加入了来自CompassJudger-1的通用指令数据，确保模型在成为优秀评委的同时，依然保持全面的语言理解和生成能力。

这种多元化的数据收集策略最终形成了一个包含四个组成部分的训练数据集：经过多样性增强和质量校正的公开评判数据、通过拒绝采样处理的公开奖励数据、从知识型和对话型数据集合成的数据，以及保持通用能力的指令数据。这就像是为评委准备了一个既有经典作品，又有当代创作，既有技术文档，又有文学作品的综合图书馆。

**二、关键技术创新：让AI学会批判性思考**

在数据准备就绪后，研究团队面临的核心挑战是如何让AI真正学会像人类专家一样进行评判。这不仅仅是简单的对比和打分，而是需要进行深入的分析和推理。

研究团队提出了一个创新性的"批判性思考"训练方法。他们设计了一个类似于人类专家评审过程的思维链条，要求模型在做出最终判断之前，必须经过五个清晰的思考步骤。

第一步是"用户需求分析"，模型需要仔细分析用户的具体要求是什么，有哪些关键方面需要满足，是否存在特定的约束条件（如时间限制、格式要求、数量限制等）。这就像是一个餐厅评论家在品尝菜肴之前，首先要了解这道菜的预期风格、目标客群和价位定位。

第二步和第三步是"模型A的优势分析"和"模型A的劣势分析"，模型需要全面评估第一个回答的表现，既要发现它的亮点，也要识别它的不足。这个过程要求模型具备平衡的评判视角，既不能过于宽容，也不能过于苛刻。

第四步和第五步是对"模型B的优势分析"和"模型B的劣势分析"，采用同样的分析方法，确保评判标准的一致性。

第六步是"综合推理"，模型需要基于前面的分析，解释哪个模型更好地满足了用户需求，哪个回答更适合给定的请求和约束条件。

最后一步是"选择决定"，模型根据推理过程得出最终结论，选择更合适的回答。

这个过程的设计灵感来自于DeepSeek-R1的推理管道，但针对评判任务进行了专门的优化。整个思考过程就像是一个严谨的学术评审，每个步骤都有明确的目标和标准。

在技术实现上，研究团队还引入了一个巧妙的"奖励机制"。在评判任务中，模型在指定位置输出预测结果，这种结构化输出使得研究团队能够利用标准答案作为明确的指导信号。他们定义了一个简单但有效的奖励函数：如果模型的预测与标准答案匹配，就给予奖励1，否则给予奖励0。

基于这个奖励机制，研究团队应用了策略梯度优化方法。这种方法的核心思想是通过最大化期望奖励来优化模型性能。具体来说，他们将学习目标表述为在回答分布上最大化期望奖励，然后通过策略梯度定理推导出相应的梯度。

这种方法的优势在于，它能够直接针对最终的评判准确性进行优化，而不是仅仅依赖于序列建模的间接优化。就像是直接训练射箭选手提高命中率，而不是只训练他们的臂力和姿势。

为了进一步提升模型的泛化能力，研究团队还采用了"拒绝采样"策略。在传统的监督学习中，模型只能从固定的前缀进行学习，这限制了生成回答的多样性。拒绝采样通过系统地生成和筛选多样化的回答候选，基于质量指标过滤掉不符合标准答案的样本，从而增强模型的泛化能力。

具体操作中，对于数据集中的每个指令，研究团队生成多个满足标准答案的回答样本。这些样本为策略梯度优化提供了更丰富的训练信号，让模型能够从不同的角度学习如何达到正确的判断。

在损失函数的设计上，研究团队尝试了多种映射函数来优化预测位置的性能。他们比较了三种不同的方法：DPO损失（鼓励模型增加正确答案的概率同时降低错误答案的概率）、温度损失（通过温度缩放对概率分布进行锐化）和边际损失（在正确答案和错误答案之间引入边际）。

经过大量实验，研究团队发现边际损失表现最佳，它能够在4个数据集中的3个上实现最好的泛化性能，平均性能提升了2.21%。边际损失的核心思想是确保正确答案的概率充分高于其他选项，这种方法在评判任务中特别有效。

**三、全新评估基准：JudgerBenchV2的创新设计**

在开发出强大的评委模型之后，研究团队面临另一个挑战：如何准确评估这个"超级评委"的表现？现有的评估基准存在诸多局限性，就像是用小学生的考试来测试大学生的能力一样，难以全面反映模型的真实水平。

为了解决这个问题，研究团队开发了JudgerBenchV2，这是一个专门为评估评委模型而设计的综合基准测试。这个基准的设计理念就像是为评委们准备一场全面的"资格考试"，不仅要测试他们在不同领域的专业知识，还要评估他们判断的一致性和可靠性。

JudgerBenchV2的数据构建过程体现了极高的科学严谨性。研究团队首先通过CompassArena收集了真实的用户查询，这些查询涵盖了中文和英文两种语言。然后他们使用K-means聚类算法对这些查询进行分类，确保能够覆盖各种不同类型的问题。

接下来，研究团队让大语言模型对每个查询按照难度等级进行分类，然后人工筛选出每个场景下100个查询，确保语言和难度等级的平衡分布。这个过程就像是精心挑选考试题目，既要有简单的基础题，也要有复杂的综合题，既要有中文题目，也要有英文题目。

在回答生成阶段，研究团队选择了10个高性能且能力相当的模型来生成回答。这些模型就像是参加考试的学生，它们的回答质量会被用来测试评委的判断能力。然后，研究团队使用GPT-4o-mini作为基准模型，与每个模型配对形成回答对，通过成对比较的方式获得评判结果。

JudgerBenchV2的一个重要创新是引入了"评委混合"(Mix-of-Judgers, MoJ)策略。研究团队认识到，评估开放性问题具有高度主观性，不同的个体和模型都可能展现出评判偏见。依赖单一人类或单一模型的判断作为标准答案可能会引入偏见，就像是让一个人决定所有艺术作品的价值一样不够公平。

为了解决这个问题，研究团队采用了DeepSeek-R1、DeepSeek-v3-0324和Qwen3-235B-A22B三个强大模型的判断，以它们的多数共识作为标准答案。这种方法就像是组建一个专家评审团，通过集体智慧来减少个体偏见，提高评判的可靠性和公正性。

更重要的是，JudgerBenchV2提出了一套全新的评估指标体系。传统的评估指标主要关注样本级别的准确性，但这还不够全面。研究团队认识到，一个优秀的评委不仅要在个别案例上做出正确判断，还要在整体排名上保持一致性。就像是体育比赛的裁判，不仅要准确判断每个动作的分数，还要确保整体排名的公平性。

基于这个理念，研究团队设计了一个综合评估公式，包含三个关键组成部分：样本级准确性、标准化排名差异和标准化分数差异。样本级准确性测量评委和标准答案在个别样本上的一致程度；标准化排名差异评估评委在整体模型排名上的偏差；标准化分数差异则考察评委在分数分布上的一致性。

这个综合评估公式的设计非常巧妙。第一部分确保评委在具体判断上的准确性，第二部分和第三部分则通过惩罚排名和分数上的差异来评估评委的一致性。所有差异都进行了标准化处理，确保不同模型之间的公平比较。

通过这种多维度的评估方法，JudgerBenchV2能够更全面地评估评委模型的性能，不仅关注准确性，还考虑一致性和可靠性。这就像是为评委们设计了一场既考验专业技能，又考验稳定性的综合测试。

**四、实验结果：小模型的大能量**

当CompassJudger-2接受全面测试时，结果令人印象深刻。在多个基准测试中，这个相对较小的模型展现出了与大型模型相媲美的性能，就像是一个年轻的天才在各种考试中都能与经验丰富的专家并驾齐驱。

在JudgerBenchV2基准测试中，CompassJudger-2-7B-Instruct获得了60.52分的成绩，显著超过了其他同规模的评委模型。更令人惊讶的是，这个7B参数的模型在某些任务上甚至超越了参数量大得多的通用模型。比如，在与DeepSeek-V3-0324（一个拥有数千亿参数的巨型模型）的比较中，CompassJudger-2展现出了极强的竞争力。

在RewardBench基准测试中，CompassJudger-2-7B-Instruct达到了90.96分，这个成绩不仅超过了所有其他7B级别的评委模型，甚至超过了一些32B级别的模型。这就像是一个轻量级拳击手在与重量级选手的比赛中取得胜利，展现了算法优化的强大威力。

在JudgeBench测试中，CompassJudger-2-7B-Instruct得分63.06，比RISE-Judge-Qwen2.5-7B高出22.58%。这个巨大的性能提升说明了研究团队采用的训练方法的有效性。

在RMB基准测试中，CompassJudger-2-7B-Instruct获得了73.90分，在所有7B级别的模型中排名第一。这个基准测试特别关注模型判断的一致性，高分表明CompassJudger-2不仅判断准确，而且前后一致。

更值得注意的是，CompassJudger-2在保持强大评判能力的同时，还很好地维持了通用语言能力。在MMLU Pro、GPQA Diamond、LiveCodeBench等标准基准测试中，CompassJudger-2的表现与基础模型相当甚至更好。这说明专门的评判训练并没有损害模型的其他能力，反而在某些方面有所提升。

研究团队还进行了详细的消融研究，分析了不同组件对模型性能的贡献。他们发现拒绝采样训练数据(RFT数据)对评判性能有显著影响，移除这部分数据会导致评判性能明显下降，特别是在RMB数据集上。相比之下，通用监督微调数据(G-SFT数据)主要影响模型的通用能力，对评判能力的影响较小。

在策略梯度损失的比较中，边际损失表现最佳，在四个数据集中的三个上都实现了最好的泛化性能。这种损失函数通过在正确答案和错误答案之间引入边际，确保了模型学习到的判断具有足够的区分度。

**五、实际应用能力：从理论到实践**

CompassJudger-2的真正价值不仅体现在基准测试的分数上，更重要的是它在实际应用中的表现。研究团队设计了多个实际应用场景来测试模型的实用性。

在模型改进能力测试中，研究团队让CompassJudger-2为各种策略模型的回答生成批评和建议，然后允许这些模型根据反馈修改它们的初始回答。结果显示，所有接受CompassJudger-2指导的模型都获得了性能提升，而接受低质量评委指导的模型性能往往下降。这就像是一个优秀的教练能够帮助运动员提高成绩，而不合格的教练反而会误导学生。

在AlignBench、AlpacaEval和ArenaHard等主观评估数据集上，CompassJudger-2的指导都带来了显著的性能提升。例如，在指导LLama3.1-8B-Instruct时，平均性能从35.35提升到38.48；在指导Qwen2.5-7B-Instruct时，平均性能从50.34提升到52.30。

特别值得一提的是CompassJudger-2在风格化评判方面的优势。研究团队通过在评判提示中添加特定的风格要求来测试模型的适应性。结果显示，CompassJudger-2对评判提示的变化不敏感，表现出了良好的一致性和泛化能力。相比之下，一些其他评委模型在面对风格化提示时性能显著下降，比如RISE-32B在Chat Hard子集上的性能下降了10.67%。

这种稳定性对于实际应用非常重要。在真实的应用场景中，用户可能会使用各种不同的表达方式来描述他们的评判需求，一个优秀的评委模型需要能够理解这些不同的表达方式，并保持一致的判断标准。

CompassJudger-2还展现出了跨语言的评判能力。在包含中文和英文查询的测试中，模型都能够提供准确和有洞察力的评判，这对于构建真正的多语言评判系统具有重要意义。

在处理不同类型内容的能力测试中，无论是技术文档、创意写作、对话回复还是问答内容，CompassJudger-2都表现出了稳定的性能。这种全面性使得它能够在各种实际应用场景中发挥作用，从内容审核到教育辅助，从产品评估到创意指导。

**六、技术细节与创新点**

CompassJudger-2的成功不是偶然的，它建立在多项技术创新的基础上。研究团队在训练过程中采用了8候选响应的拒绝采样策略，这意味着对于每个训练样本，模型会生成8个候选答案，然后选择其中最符合标准的进行训练。这种方法大大增加了训练数据的多样性，提高了模型的泛化能力。

在超参数设置方面，研究团队经过大量实验确定了最优配置：学习率设定为6×10^-5，在DPO损失中β=0.1，在温度损失中τ=5，在边际损失中γ=10。这些参数的精确调整对模型性能有显著影响。

模型训练采用了Qwen2.5系列作为基础检查点，训练1个epoch，批次大小为512。这种相对较少的训练量说明了方法的高效性，不需要过度训练就能达到优秀的性能。

在损失函数的设计上，研究团队提出了一个总体损失函数，它将SFT损失和策略梯度损失结合起来。这种结合确保了模型既能学习到高质量的判断能力，又能保持良好的语言生成能力。

研究团队还创新性地将策略梯度损失应用于判断任务的特定位置，而不是整个序列。这种精确的优化方法避免了对序列其他部分的不必要干扰，提高了训练效率。

在数据质量控制方面，研究团队建立了严格的验证机制。所有合成的判断数据都会与标准答案进行比对，只有通过验证的数据才会被纳入训练集。这种质量控制机制确保了训练数据的高质量，避免了错误信息的传播。

CompassJudger-2的另一个创新是引入了多样化的判断模板。通过收集和应用来自不同评估数据集的提示模板，模型学会了适应各种不同的评判风格和要求。这种灵活性使得模型能够在各种实际应用场景中表现出色。

**七、与现有方法的比较**

为了更好地理解CompassJudger-2的优势，我们需要将它与现有的评委模型进行比较。传统的评委模型通常专注于特定的任务或领域，就像是专业的美食评论家只评判餐厅，而CompassJudger-2则像是一个全能的评委，能够胜任各种不同类型的评判任务。

与CompassJudger-1相比，CompassJudger-2在7B模型上实现了16.39%的性能提升，在32B模型上实现了1.71%的提升。这种显著的改进主要来自于新的训练方法和更高质量的数据。

与RISE-Judge系列模型相比，CompassJudger-2在多个基准测试中都表现出了明显的优势。特别是在JudgeBench上，CompassJudger-2-7B比RISE-Judge-Qwen2.5-7B高出22.58%，这个巨大的性能差距说明了方法论的重要性。

与Skywork-Critic系列模型相比，CompassJudger-2在保持高性能的同时，还展现出了更好的一致性和稳定性。在风格化评判测试中，CompassJudger-2对提示变化的敏感性明显低于其他模型，这对实际应用具有重要意义。

与通用大模型相比，CompassJudger-2在评判任务上表现出了专业优势，同时在通用能力测试中也能保持竞争力。这种平衡难能可贵，说明了专门训练的有效性。

**八、局限性与未来展望**

尽管CompassJudger-2取得了显著成功，但研究团队也坦诚地指出了当前方法的局限性。首先，拒绝采样过程带来了相对较高的推理成本，这在大规模应用中可能成为瓶颈。其次，在数据合成过程中，大语言模型可能产生的幻觉现象存在潜在风险，需要进一步的质量控制机制。

在未来的发展方向上，研究团队计划将这项工作扩展到多模态和交互式评估场景。随着多模态内容（如图像、视频、音频）的普及，需要能够处理这些复杂媒体类型的评委模型。同时，交互式评估能够提供更深入的反馈和指导，这对于教育和内容创作应用具有重要价值。

另一个重要的发展方向是提高模型的效率。虽然CompassJudger-2已经展现出了良好的参数效率，但在推理速度和资源消耗方面仍有优化空间。研究团队正在探索模型压缩和量化技术，以使模型能够在更多设备上运行。

个性化评判是另一个有前景的研究方向。不同的用户和应用场景可能有不同的评判标准和偏好，开发能够适应这些差异的个性化评委模型将大大提高实用性。

说到底，CompassJudger-2的成功不仅仅是技术上的突破，更是对AI评估方法论的重要贡献。它展示了如何通过精心设计的训练方法和高质量的数据，让相对较小的模型在特定任务上超越更大的通用模型。这种"小而精"的方法对于AI技术的实际应用具有重要启示意义。

这项研究还为我们思考AI的未来发展提供了新的视角。随着AI系统变得越来越复杂和强大，如何评估和改进这些系统的性能将变得越来越重要。CompassJudger-2及其配套的JudgerBenchV2为这个关键问题提供了一个实用的解决方案。

对于普通用户来说，CompassJudger-2的技术可能很快就会集成到各种应用中，帮助我们更好地评估和改进AI生成的内容。无论是在教育、创作、还是日常工作中，拥有一个可靠的AI评委将大大提高我们的效率和质量。

归根结底，这项研究代表了AI技术从"能够生成"向"能够评判"的重要转变。当AI不仅能够创造内容，还能够准确评估内容质量时，我们就真正迈向了一个更加智能和可靠的AI时代。研究团队已经将代码和模型在GitHub上开源，有兴趣的研究者和开发者可以通过https://github.com/open-compass/CompassJudger 访问相关资源，共同推动这一领域的发展。

**Q&A**

**Q1：CompassJudger-2是什么？它能做什么？** A：CompassJudger-2是上海AI实验室开发的AI评委模型，能够像人类专家一样评判各种文本内容的质量。它不仅能对比不同AI生成的回答并选出更好的，还能提供详细的分析和改进建议，适用于内容审核、教育辅助、创意指导等多个场景。

**Q2：为什么7B的CompassJudger-2能与更大的模型竞争？** A：这主要得益于专门的训练方法和高质量数据。研究团队采用了批判性思考训练、拒绝采样和策略梯度优化等创新技术，让模型学会了深度推理和准确判断。这就像专业训练的轻量级拳击手可以击败业余的重量级选手一样，技巧和训练方法比规模更重要。

**Q3：普通用户如何使用CompassJudger-2？** A：目前CompassJudger-2已在GitHub开源，技术开发者可以下载使用。对于普通用户，这项技术预计会很快集成到各种应用中，如写作辅助工具、在线教育平台、内容审核系统等。用户无需了解技术细节，就能享受到更准确的内容评估和改进建议。