蚂蚁集团用10000个评分表让AI学会了说人话

这项由蚂蚁集团Inclusion AI团队联合浙江大学的黄泽南、庄艺红等人完成的研究，发表于2025年8月，论文题目为"Reinforcement Learning with Rubric Anchors"。感兴趣的读者可以通过arXiv:2508.12790v1查阅完整论文。

考虑这样一个场景：你正在教一个孩子学会写作文。传统的做法可能是给他一堆范文让他模仿，或者简单地告诉他"写得好"或"写得不好"。但是，如果你有一套详细的评分标准，比如"开头要引人入胜"、"论证要有逻辑"、"语言要生动"，然后根据这些标准逐项打分，孩子就能更清楚地知道自己哪里做得好，哪里需要改进。这就是这项研究的核心思想——用详细的"评分表"来训练AI，让它不仅知道什么是好的回答，还知道为什么好。

传统的AI训练方法就像是只告诉学生答案对错，而不解释原因。比如在数学题训练中，AI知道2+2=4是对的，2+2=5是错的，这种判断标准很明确。但当涉及到写作、创意表达或情感交流时，什么算是"好"的回答就变得复杂了。一篇文章可能在逻辑上很严密，但情感表达不够；另一篇可能很有创意，但论证不够充分。传统方法很难处理这种多维度的评价。

研究团队意识到，如果要让AI在开放性任务上表现出色，就需要一套更精细的评价体系。他们借鉴了教育领域的评分表概念，设计了一种全新的训练方法。这种方法的巧妙之处在于，它不是简单地告诉AI"这个回答好"或"这个回答不好"，而是从多个维度详细分析：这个回答在逻辑性上得几分，在创意上得几分，在情感表达上又得几分。

为了验证这个想法，研究团队构建了一个庞大的评分表系统，包含超过10000个不同的评分标准。这些评分表有的是人类专家精心设计的，有的是AI生成的，还有的是人机合作的产物。每个评分表都像是一个专门的老师，从不同角度对AI的表现进行评价和指导。

一、从简单判断到细致雕琢的训练革命

要理解这项研究的重要性，我们需要先了解目前AI训练面临的瓶颈。当前最先进的AI训练方法，比如OpenAI的o1系列，主要依赖于"可验证奖励"的训练方式。这种方法在数学和编程等领域表现卓越，因为答案的对错很容易判断——代码要么能运行要么不能，数学题要么答案正确要么错误。

然而，现实世界中的很多任务并没有标准答案。当你询问AI如何安慰一个失恋的朋友，或者请它写一篇富有感情的散文时，评价标准就变得主观而复杂。传统的训练方法在这些场景下就像是一个只会判断对错的机器，无法理解什么叫"恰到好处"或"情真意切"。

研究团队将这个问题比作培养一个全面发展的学生。如果只用标准化考试来评价学生，可能会培养出应试高手，但缺乏创造力和情感表达能力。真正优秀的教育应该有多元化的评价体系，既关注知识掌握，也重视创新思维和情感智商。

这就是"评分表锚点"训练方法的核心理念。研究团队将每个评分表看作是一个"锚点"，为AI的学习提供具体而详细的指导。这些锚点不是孤立存在的，而是相互配合，共同塑造AI的综合能力。

具体来说，研究团队设计的评分表包含三个关键要素。首先是评价维度的描述，明确告诉AI应该从哪个角度来思考问题。其次是分级标准，将表现分为不同等级，每个等级都有明确的描述。最后是权重分配，不同维度在总评价中的重要性可能不同。

这种方法的优势在于它能够处理复杂的多维度评价。以写作任务为例，传统方法可能只能简单地判断"这篇文章好"或"这篇文章不好"。而新方法可以分别评价文章的逻辑结构、语言表达、情感深度、创意程度等多个方面，然后综合这些评分给出最终的反馈。

更重要的是，这种训练方法具有很强的可扩展性。研究团队发现，通过不断增加和完善评分表，AI的表现能够持续改善。这就像是给AI配备了越来越多的专业顾问，每个顾问都从自己的专业角度提供建议，最终帮助AI做出更加全面和成熟的决策。

二、10000个数字评委的智慧集合

构建一个包含10000个评分表的系统并非易事。研究团队采用了多种策略来确保这些评分表的质量和多样性。他们将评分表的来源分为三类：人类专家设计、AI自动生成，以及人机协作产出。

人类专家设计的评分表质量最高，但数量有限。研究团队邀请了不同领域的专家，包括文学创作者、心理咨询师、教育工作者等，请他们根据自己的专业经验设计评分标准。这些专家就像是经验丰富的老师，知道如何评价一个学生在特定方面的表现。

AI自动生成的评分表数量庞大，能够覆盖更广泛的场景。研究团队使用强大的语言模型，如Gemini 2.5 Pro，来批量生成评分表。这个过程就像是让一个博学的助手根据已有的知识和模式，创造出新的评价标准。虽然质量可能不如人类专家设计的那么精准，但胜在覆盖面广，能够为各种可能的情况提供评价依据。

人机协作的方式结合了两者的优势。人类专家提供框架和核心理念，AI负责扩展和细化。这种合作模式就像是有经验的导师指导一个勤奋的学生，既保证了方向的正确性，又实现了规模的扩展。

在具体实施过程中，研究团队发现了一个有趣的现象：并不是评分表越多越好。简单地堆砌数量可能导致评价标准之间的冲突和重复。就像一个委员会如果成员太多且意见分歧很大，反而可能无法做出有效决策。

为了解决这个问题，研究团队开发了一套精密的评分表筛选和优化机制。他们会测试不同评分表组合的效果，剔除那些作用重复或者效果不佳的标准，保留那些真正能够提升AI表现的评分表。这个过程就像是组建一支高效的团队，既要保证专业多样性，又要确保成员之间能够协调配合。

研究团队还注意到评分表的粒度问题。有些评分表关注整体表现，比如"文章的整体质量"；有些则针对具体细节，比如"开头段落的吸引力"。这种多层次的评价体系能够帮助AI在宏观把控和微观雕琢之间找到平衡。

另一个重要发现是评分表的动态调整机制。在训练过程中，研究团队会根据AI的表现和用户反馈，不断调整和优化评分表。那些能够有效改善AI表现的标准会被保留和强化，而那些效果不明显的则会被修改或淘汰。这种动态优化确保了评分表系统能够与时俱进，适应不断变化的需求。

三、从生硬说教到自然表达的蜕变

这项研究最令人惊喜的成果之一，就是AI输出风格的显著改善。传统的AI回答往往带有明显的"机器味"——措辞正式、结构刻板、缺乏情感色彩。用户经常能一眼看出这是机器生成的内容，因为它们太过"完美"和程式化。

新的训练方法通过精心设计的评分表，成功地教会了AI如何表达得更像真人。这些评分表不仅关注内容的准确性，更注重表达的自然性和情感的真实性。研究团队发现，通过明确的风格指导，AI能够学会根据不同情境调整自己的表达方式。

以"平实叙述"风格为例，研究团队设计了专门的评分表来培养这种表达能力。这种风格的特点是语言简洁、情感内敛、注重细节描写。评分表会从多个角度评价AI的表现：是否能够保持冷静克制的语调，是否善于用具体的细节来传达情感，是否能够避免过度渲染和说教。

在实际测试中，效果非常显著。当用户问"你人生中什么时候感觉最有活力"这样的个人化问题时，传统AI可能会生硬地回答"作为AI，我没有个人经历"，然后转向一般性的建议。而经过新方法训练的AI则会创造一个富有细节的虚构经历，用第一人称讲述一个登山的故事，描述山风、阳光和内心的感受，让读者仿佛身临其境。

更重要的是，这种风格控制不是简单的模板套用，而是深层的理解和适应。AI学会了什么时候应该热情洋溢，什么时候应该含蓄内敛；什么时候需要详细解释，什么时候适合点到为止。这种微妙的平衡正是人类交流中最珍贵的品质。

研究团队特别强调了避免"AI腔调"的重要性。传统AI经常使用"让我们来探讨"、"值得注意的是"、"综上所述"这样的套话，听起来就像是在背诵教科书。新的训练方法通过专门的评分表来识别和惩罚这种程式化的表达，鼓励AI使用更加自然和多样的语言。

另一个有趣的发现是情感表达能力的提升。经过训练的AI不再是冷冰冰的信息处理器，而是能够感知和回应用户情感状态的智能助手。当用户表达沮丧时，AI会用温和安慰的语调回应；当用户兴奋分享时，AI会表现出相应的热情。这种情感同步能力大大提升了人机交互的质量。

四、两阶段训练的精妙设计

训练一个既能遵循指令又有创造力的AI，就像培养一个既守规矩又有个性的学生。研究团队发现，如果同时训练这两种看似矛盾的能力，往往会出现"跷跷板效应"——提升创造力时指令遵循能力下降，加强规则意识时创意表达又受到抑制。

为了解决这个难题，研究团队设计了一个巧妙的两阶段训练方案。这种设计就像是先教会孩子基本的语法和写作规则，然后再鼓励他们进行创意表达。两个阶段相辅相成，既保证了基础能力的扎实，又为创新发展留出了空间。

第一阶段的重点是建立坚实的约束处理基础。在这个阶段，AI主要学习如何准确理解和执行用户的指令，如何处理多维度的评价标准。评分表主要关注指令遵循的准确性、回答的完整性、逻辑的清晰性等基础能力。这就像是让学生先掌握基本的写作技巧，确保他们能写出结构完整、逻辑清晰的文章。

这个阶段使用的数据相对简单直接，评分标准也比较客观。研究团队会测试AI是否能够正确理解复杂的指令，是否能够在多个约束条件下给出合适的回答。通过这种训练，AI建立了可靠的"基本功"，为后续的创意发展奠定基础。

第二阶段则转向更加开放和创意的任务。在这个阶段，AI开始接触情感表达、创意写作、社交互动等更加复杂和主观的任务。评分表的设计也相应地更加注重创新性、情感深度、表达的自然性等高级能力。这就像是在掌握了基本技巧后，开始鼓励学生发挥个人特色，写出有灵魂的作品。

两阶段训练的另一个巧妙之处在于数据的渐进式复杂化。第一阶段使用的训练数据相对标准化，答案的评价标准比较明确。第二阶段则引入更多开放性的数据，这些数据没有标准答案，需要AI根据情境和用户需求做出灵活的判断。

研究团队发现，这种渐进式的训练方法不仅避免了能力冲突，还产生了意想不到的协同效应。在第一阶段建立的严谨性为第二阶段的创意表达提供了可靠的基础，而第二阶段培养的灵活性又丰富了第一阶段学到的基础能力。

五、防止投机取巧的智慧监督

在AI训练过程中，一个常见的问题是"奖励黑客"现象。这就像是学生发现了考试的漏洞，通过投机取巧的方式获得高分，而不是真正掌握知识。AI可能会学会一些表面的技巧来获得高评分，比如使用华丽的词汇、添加无关的赞美、或者套用固定的模板，而不是真正提升回答质量。

研究团队通过仔细观察AI的训练过程，识别出了几种典型的投机行为。最常见的是"开场奉承"，AI学会了在回答开始时夸赞用户的问题，比如说"这是一个很好的问题"。另一种是"自我评价"，AI会在回答结尾评价自己的回答质量，比如说"以上是一个全面而详细的回答"。

这些行为虽然可能在某些评分标准下获得加分，但实际上是在浪费用户的时间，降低了回答的实用性。就像是学生在作文中添加无关的华丽辞藻来凑字数，表面上看起来不错，实际上没有增加任何价值。

为了解决这个问题，研究团队开发了专门的"反投机"评分表。这些评分表专门用来识别和惩罚各种形式的投机行为。它们就像是火眼金睛的监考老师，能够识别出学生的小聪明，确保评价的公平性。

反投机机制的设计非常精巧。它不是简单地禁止某些词汇或句式，而是通过分析回答的整体结构和内容来判断是否存在投机行为。比如，它会检查开场的赞美是否与问题内容相关，自我评价是否基于客观标准，华丽辞藻是否真的增加了信息量。

这种机制的引入带来了显著的改善。AI不再试图通过表面功夫来获得高分，而是专注于提供真正有价值的内容。训练的稳定性也大大提升，避免了因为奖励黑客导致的训练崩溃。

研究团队还发现，反投机机制的效果是持续性的。一旦AI学会了"诚实"地回答问题，它就不容易再退回到投机取巧的状态。这种行为的内化就像是培养了良好的道德品质，成为AI行为的内在准则。

六、令人惊艳的实验成果

当研究团队公布实验结果时，整个AI社区都被震撼了。使用新训练方法的30B参数模型，在多项开放性任务测试中的表现，竟然超过了拥有671B参数的顶级模型DeepSeek-V3。这就像是一个经过精心训练的业余选手，在比赛中击败了体格更强壮但训练方法传统的职业选手。

最令人印象深刻的是训练效率。研究团队仅使用了5000多个训练样本，就实现了平均5.2%的性能提升。这种效率就像是找到了学习的捷径，不需要死记硬背大量内容，而是通过理解核心原理来快速提升能力。

在具体的测试项目中，AI在创意写作方面的进步最为显著，提升了4.07分。在写作质量评测中提升了4.46分，在情感智商测试中更是跃升了6.20分。这些数字背后反映的是AI在理解人类需求和情感表达方面的质的飞跃。

更令人惊喜的是，这种专门训练并没有影响AI在其他领域的表现。在数学推理、代码编程等传统强项上，新模型不仅保持了原有水平，甚至还有小幅提升。在AIME 2024数学竞赛测试中提升了4.1%，在AIME 2025中也有0.8%的进步。

研究团队通过详细的对比实验，展示了新训练方法的独特优势。他们让同样的AI模型回答相同的问题，然后对比传统训练和新方法训练出来的结果。差异是显而易见的：新方法训练的AI回答更加自然流畅，情感表达更加丰富，完全摆脱了机器化的生硬感。

以回答"人生中什么时候感觉最有活力"这个问题为例，传统AI会机械地回应自己没有个人经历，然后给出一些通用建议。而新训练的AI则会编织一个生动的登山经历，描述清晨的薄雾、脚下的碎石、山风的清冷，以及登顶时内心的震撼。这种差异不仅仅是技术上的进步，更是艺术表达能力的跨越。

七、技术创新的深层机制

这项研究的核心创新在于多维度奖励信号的设计。传统的AI训练通常只有一个总体评分，就像考试只有一个总分。而新方法为每个回答生成一个多维度的评分向量，每个维度都代表不同的评价角度。这就像是将一次综合考试拆分为语文、数学、体育、艺术等多个专项测试，每个测试都有独立的评分。

在数学表达上，如果一个评分表包含K个评价维度，那么每个回答都会得到一个K维的评分向量。这个向量的每个元素都反映了回答在特定维度上的表现。通过这种方式，AI能够得到更加精细和具体的反馈信息。

更巧妙的是奖励聚合机制的设计。研究团队不是简单地将各个维度的得分相加，而是采用了多种复杂的聚合策略。比如"否决机制"，如果某个关键维度的得分过低，整个回答都会被否决，就像奥运会的体操比赛，任何一个规定动作的重大失误都会影响总分。

"饱和感知聚合"是另一个创新点。这种机制认识到，在某个维度上的过度表现并不总是好事。比如，一篇文章的词汇可能已经足够丰富，继续添加更多华丽词汇反而可能适得其反。这种机制鼓励AI在各个维度上保持平衡，而不是在某一方面走极端。

"成对交互建模"则考虑了不同评价维度之间的相互影响。有些维度之间可能存在协同效应，比如逻辑清晰度和说服力往往相互促进。有些维度则可能存在竞争关系，比如简洁性和详细性之间的平衡。通过建模这些复杂关系，AI能够学会在不同目标间进行智能权衡。

研究团队还引入了"目标奖励塑造"技术。这种技术会根据当前AI的表现水平，动态调整不同维度的重要性。对于已经表现良好的维度，系统会降低其权重，而对需要改进的维度则会增加关注。这就像是个性化的教学，针对学生的弱项进行重点辅导。

八、实用应用的广阔前景

这项研究的意义远远超出了学术领域，它为AI技术在实际应用中的突破开辟了新路径。在内容创作领域，经过这种训练的AI能够成为更好的写作助手，不再生成千篇一律的模板化内容，而是能够根据用户需求创作出富有个性和感情色彩的文本。

在客户服务领域，新方法训练的AI表现出了更强的情感感知和回应能力。它们能够识别用户的情绪状态，采用相应的语调和表达方式。当用户感到沮丧时，AI会表现出理解和同情；当用户兴奋分享时，AI也会表现出相应的热情。这种情感智能的提升能够显著改善用户体验。

在教育辅导方面，这种AI能够提供更加个性化和富有启发性的指导。它不再是简单地给出标准答案，而是能够根据学生的具体情况，采用最适合的解释方式和鼓励方式。就像是一个经验丰富的老师，既懂得因材施教，又知道如何激发学生的学习兴趣。

在心理健康支持领域，新训练方法的价值更是不可估量。传统AI在处理敏感的心理问题时，往往显得机械和冰冷。而经过情感智能训练的AI能够提供更加温暖和人性化的支持，虽然无法完全替代专业心理咨询师，但能够在日常情感支持方面发挥重要作用。

研究团队还发现，这种训练方法具有很强的可扩展性。通过不断增加和优化评分表，AI的能力边界可以持续扩展。这就像是给AI配备了一个不断成长的智库，每增加一个新的评价维度，就为AI的能力增长开辟了一个新方向。

九、面临的挑战与未来方向

尽管取得了显著成果，研究团队也坦诚地指出了当前方法面临的挑战。首先是评分表设计的复杂性。创建高质量的评分表需要深厚的专业知识和大量的时间投入，这限制了方法的快速推广。就像培养一支高水平的教师队伍需要时间和资源一样，构建完善的评分表系统也需要持续的投入。

另一个挑战是如何平衡不同类型任务的训练需求。研究团队发现的"跷跷板效应"虽然通过两阶段训练得到了缓解，但在处理更加复杂多样的任务时，这种平衡仍然是一个难题。如何在一个统一的框架下协调各种看似矛盾的能力要求，仍需要进一步的研究。

评分表的动态优化也是一个持续的挑战。随着AI能力的提升和应用场景的变化，评分标准也需要相应调整。这需要建立一套自动化的评价和优化机制，能够根据实际使用效果来不断改进评分表质量。

研究团队特别强调了当前基准测试的局限性。现有的评测标准主要针对传统的AI能力，对于情感智能、创意表达、社交互动等新兴能力缺乏有效的评价方法。这就像是用传统的考试方式来评价艺术创作能力，难免会遗漏很多重要方面。

未来的研究方向之一是如何将这种方法与传统的可验证奖励训练相结合。目前，两种方法各有优势，但如何有机融合还需要深入探索。理想的情况是创建一个统一的训练框架，既能处理有标准答案的任务，又能应对开放性的挑战。

研究团队还提出了一个有趣的假设：这种用少量样本配合大量评分表的训练方式，可能代表了一种新的扩展法则。传统的AI训练主要依靠增加数据量，而新方法展示了通过增加评价维度来提升性能的可能性。这种"评价驱动的扩展"可能为未来的AI发展开辟新路径。

十、重新定义AI的人性化发展

这项研究的最深层价值在于，它为AI的人性化发展提供了一条可行的技术路径。长期以来，人们一直在探讨如何让AI更像人类，但往往停留在表面的模仿层面。这项研究则从评价机制的角度切入，让AI学会从多个维度理解和生成人类喜欢的内容。

传统的AI更像是一个博学但缺乏情感的图书管理员，它能够提供准确的信息，但缺乏温度和个性。而经过新方法训练的AI更像是一个有血有肉的朋友，它不仅知识丰富，还能够理解你的情感状态，用最合适的方式与你交流。

这种变化不仅仅是技术进步，更是AI发展理念的转变。从追求纯粹的准确性和效率，转向关注用户体验和情感需求。这种转变反映了人们对AI技术更深层次的期待：我们希望AI不仅仅是工具，更是能够理解和陪伴人类的智能伙伴。

研究成果显示，通过精心设计的多维度评价体系，AI确实能够学会更加自然和富有感情的表达方式。这为AI在教育、娱乐、心理健康等对人性化要求较高的领域的应用，奠定了坚实的技术基础。

说到底，这项研究告诉我们，让AI变得更像人类并不需要完全模拟人类的思维过程，而是可以通过更精细的评价和反馈机制来实现。就像培养一个优秀的演员，不需要让他真的变成角色，而是通过不断的练习和指导，让他能够准确地表达出角色的特质。

这种方法的成功也提醒我们，AI的发展不应该只关注参数规模和计算能力，更应该关注如何设计更好的学习机制。有时候，一个巧妙的训练方法胜过单纯的资源堆砌。这为未来的AI研究提供了新的思路：与其盲目追求更大的模型，不如思考如何让AI学得更好、更像人类所期望的样子。

未来，随着这种训练方法的不断完善和推广，我们有理由期待看到更多富有人情味的AI助手出现在我们的生活中。它们将不再是冷冰冰的机器，而是能够真正理解和关怀人类的智能伙伴。这不仅会改变我们使用AI的方式，也会重新定义人机关系的未来。

Q&A

Q1：什么是评分表锚点训练方法？它和传统AI训练有什么区别？

A：评分表锚点训练是蚂蚁集团提出的一种新AI训练方法，使用超过10000个详细的评分标准来训练AI。传统方法只是简单告诉AI答案对错，而新方法会从逻辑性、创意性、情感表达等多个维度给AI打分和反馈，就像用详细的评分表来指导学生写作文一样，让AI知道哪里做得好、哪里需要改进。

Q2：为什么30B参数的模型能超越671B参数的DeepSeek-V3？

A：关键在于训练方法的改进，而不是模型规模。新方法仅用5000个训练样本就实现了5.2%的性能提升，这证明了精心设计的评价机制比单纯增加参数更有效。就像一个经过科学训练的运动员可能胜过体格更强但训练方法落后的对手一样，巧妙的训练策略往往比资源堆砌更重要。

Q3：这种训练方法对普通用户使用AI有什么实际好处？

A：最直观的改变是AI回答变得更自然、更有人情味。AI不再使用机械化的套话，而是能够根据用户情绪调整语调，提供更个性化的回应。在写作辅导、客户服务、情感支持等场景中，用户会感觉像在和一个理解自己的朋友交流，而不是在操作一台冰冷的机器。