法律AI只会判对错，不会判好坏：一个让机器学会"懂法"的打分系统

你去法院打官司，律师写了一份判决意见。如果这份意见最后判对了，但推理过程东拉西扯，该引用的法条没引用，关键事实漏了一半，你会满意吗？

大概不会。可是如果你去问现在大多数评判AI法律回答好坏的系统,它关心的恰恰只有一件事:答案对不对。

这事儿听起来有点荒谬，但确实是过去几年法律人工智能领域的现实。研究人员训练法律大模型的时候，用来打分、用来做强化学习奖励信号的东西，往往就是看模型预测的罪名对不对、法条号对不对、赔偿金额算得准不准。至于这个答案是怎么推出来的，中间漏没漏步骤，有没有胡乱编造一个不存在的被告，几乎没人管。

这篇来自北京大学、东北大学和清华大学团队的论文，就是冲着这个问题去的。他们给这套"只看结果不看过程"的评判方式起了个名字,叫做**结果奖励**

结果奖励：只根据最终答案是否正确来给模型打分的奖励方式，不考虑推理过程的质量。

问题是，结果奖励会带来一个很隐蔽的陷阱。设想一个学生做数学题，蒙对了答案，老师只看答案给满分，那这个学生永远学不会解题过程里真正重要的东西。模型也是一样,如果你只奖励"猜对罪名"这一件事，模型完全可以学会一种投机取巧的策略：说一堆看似专业但其实没有逻辑支撑的话，蒙对结果就能拿满分。这篇论文的作者们管这种现象叫"看似流畅但法律上不可靠的解释"。

一份好的法律文书到底该是什么样子

这篇论文做的第一件事，其实是回答一个听起来很基础、但过去没人系统回答过的问题：什么才算一份高质量的法律回答？

研究团队请了法律专家，用两种方式去琢磨这件事。一种是自上而下，专家凭自己的专业知识，总结出好的法律写作应该具备哪些核心要素。另一种是自下而上，他们拿了好几个大语言模型（Qwen、Llama等）在法律基准测试上生成的回答，一条一条对照标准答案去找茬，看看模型到底在哪些地方出了错、漏了什么。

两条路线的发现最后汇总成了一个三维度的分类体系，论文里叫它LexReward Taxonomy。

LexReward*：这篇论文提出的整套法律奖励框架的名字，意思是"以法律分类体系驱动的奖励"。Taxonomy则是指这套分类体系本身，把法律回答质量拆解成了三个维度。

这三个维度分别是风格（Style）、要素（Element）和推理链（Chain）。

风格关心的是语言本身的专业性和客观性，比如用词是不是精准的法律术语，有没有夹杂主观臆断的词汇，句子结构是否清晰流畅。要素关心的是内容的完整性，一份判决书分析里，该出现的法律主体、案件事实、援引的法条、最终的判决结论，是不是都齐了。推理链关心的是逻辑结构，前因后果有没有讲清楚，推理步骤是不是环环相扣、没有逻辑断点，有没有重复啰嗦的废话。

打个比方,这就像给一道菜打分，不能只看好不好吃（结果对不对）,还要看食材是不是齐全（要素完不完整）,烹饪步骤有没有按顺序来、火候对不对（推理链是否正确）,摆盘和味型搭配有没有章法（风格是否专业）。如果一道菜只看最后吃起来的口感,厨师完全可能靠着调味料的小聪明掩盖食材不新鲜、步骤混乱的问题,吃一次没事,但长期靠这种"投机"做菜,迟早会出大问题。

这三个维度不是研究者凭空想出来的分类游戏，而是真正可以拆解到可打分的细粒度标准。比如风格维度细分成了词汇特征和句法特征，词汇特征又细分成"用词专业度"和"主观词控制"两个子项；要素维度细分成主体、事实、法条、裁决四大类，每一类里面还有更细的子项，比如事实这一类下面就包括事件发生经过、采取的行动、事件结果、金钱细节、时间细节等等。

打分这件事，怎么落地

有了分类体系，接下来的难题是：怎么把这些抽象的质量标准，变成一个可以自动计算的分数。

研究团队采用了两种打分策略，具体用哪种取决于这个标准是否需要"看懂上下文"。

对于那些跟上下文无关、单靠生成的文本本身就能判断好坏的标准（比如用词是否专业、句子是否通顺），他们用了基于规则的打分器。做法是先拿一千份真实的中国司法判决文书作为参照样本，统计出这些真实文书的各种语言特征，比如法律术语出现的频率分布、句子长度的均值和标准差、常见的三到六字词组搭配模式。然后拿模型生成的文本去和这个参照标准比对，差异越小，说明这份回答越像真正的法律文书，分数就越高。

规则打分器：一种不依赖人工智能判断、而是通过数学公式直接计算文本特征差异来打分的评估方式，优点是结果确定、可解释、不会出现AI判断的随机性。

对于那些必须结合具体案情才能判断对错的标准（比如判决里有没有正确识别出谁是原告谁是被告，有没有援引对的法条），规则打分器就无能为力了，因为同样一句话在不同案件里对错完全不同。这时候就得请出AI评委，论文里叫LLM-as-a-Judge，用一个大语言模型（他们选用了DeepSeek-V4-Flash）去扮演裁判的角色，根据设计好的评分细则，给每份回答的要素完整度、推理链条质量打分。

LLM-as-a-Judge：用一个大语言模型充当评委角色，依据预先设定的评分规则，对另一个模型生成的回答质量进行打分，适合处理需要结合语境判断的复杂评估任务。

这两种打分方式配合起来，就像一个法院里既有书记员核对格式是否规范（规则打分，看文本本身的特征），又有审判长根据案情判断证据是否充分、逻辑是否自洽（AI评委，结合上下文判断）。如果只用书记员去判断证据是否充分，那是越权了，书记员根本看不懂案情；但如果让审判长去逐字核对格式规范，又是在浪费审判资源做机械劳动。两种角色各司其职，才能把一份判决书的质量真正评清楚。

从打分到训练：怎么让模型学会"懂法"

光有打分器还不够。打分器给出的分数经常是稀疏的，意思是很多质量不同的回答可能被打出一样的分，这样的信号太粗糙，没法有效指导模型学习。

研究团队的解决办法是，先用一个包含五个不同模型的"模型池"（包括Qwen3-4B、Qwen3.5系列、Llama-3.1-8B、Gemma-4-12B）针对同一个法律问题各生成一份回答，然后用前面说的打分器给这五份回答打分，根据分数差异构造出"偏好对"：哪份回答分数更高，就标记为"更优"，分数更低的标记为"更差"。

偏好对：由同一个问题下两份质量不同的回答组成的数据对，一份被标记为优选、一份被标记为较差，用来训练模型学会区分好坏。

这些偏好对数据被用在了两个地方。第一个用途是直接拿去做DPO训练。

DPO（直接偏好优化）：一种让语言模型直接从"哪个回答更好"这样的偏好数据中学习的训练方法,不需要额外训练一个独立的打分模型,直接用偏好对调整模型本身的输出倾向。

实验结果显示，DPO训练确实让模型在风格、要素、推理链三个维度上都有了提升，这说明用这套基于分类体系打出的偏好数据，是真的能教会模型往更好的方向走的，不是摆设。

第二个更有意思的用途，是拿这些偏好对去训练一个独立的打分模型，叫做LexRM。

LexRM*：这篇论文训练出来的一组中文法律奖励模型家族，分别针对风格、要素、推理链三个维度单独训练，用于在后续的强化学习或候选筛选中给法律回答打分。据作者所说，这是目前已知的第一个专门针对中文法律场景打造的奖励模型系列。

LexRM的训练用了经典的Bradley-Terry目标函数，这是一种统计学里常用来处理"两两比较"数据的方法，简单说就是让模型学会给偏好对中更优的那一份打出更高的分数。训练完成后，LexRM变成了一个独立的、可以给任意法律回答打连续分数的模型，而不再是只能打离散等级的规则打分器。

这里有个挺讲究的技术细节值得说一下。因为三个维度（风格、要素、推理链）分别训练了三个独立的奖励模型，但它们都是从同一个预训练底座出发的，只是针对不同的偏好数据各自微调。研究者发现，这三个模型相对于底座模型的"参数变化方向"（他们叫做任务向量）彼此之间的相似度非常低，平均余弦相似度不超过0.03，最高也没超过0.14。这意味着三个维度学到的东西基本是互相独立、不打架的。

基于这个发现，他们尝试把三个任务向量直接相加，合并成一个单一的模型LexRM-Merge，不用在推理时跑三个独立的模型，只用一个合并后的模型就能同时给三个维度打分。这就好比三个专科医生各自诊断出来的报告，如果他们的诊断逻辑互不冲突，完全可以把三份报告合并成一份综合诊断书，省掉病人分别挂三次号的麻烦。如果三个专科医生的判断经常互相矛盾，那硬合并出来的报告反而会出问题，可信度会打折扣。实验数据也印证了这一点，合并后的模型在某些任务上表现不如专科模型，但省下了同时跑三个模型的推理开销，是一种实用的折中。

实验结果说了什么

研究团队在三个专门构建或采用的中文法律数据集上做了验证。风格维度用的是CLASE数据集，要素维度用的是Legal?的评测体系（数据来源混合了JEC-QA刑事问题和LexChain民事判决），推理链维度用的是LexChain数据集。

先看打分器本身靠不靠谱。实验结果显示，这套基于分类体系设计的打分规则（论文里简称Rubric），在三个数据集上都明显超过了随机选择和"五个模型取平均"的基线表现。比如在风格维度的CLASE测试里，随机选择的准确率是50%，而Rubric打分器选出的最优回答准确率达到了79%，整整高出29个百分点。这说明这套打分规则不是花架子，它真的能分辨出哪份回答写得更专业。

再看训练出来的LexRM系列模型表现如何。论文把LexRM拿去跟业界已有的通用奖励模型（Skywork系列）和法律领域专用模型（Lawformer、Legal-BERT）做对比。结果显示，尽管LexRM用的训练数据量明显少于Skywork系列，LexRM-Style在风格维度拿到了81.75%的准确率，是所有方法里最高的；LexRM-Chain在推理链维度的综合得分也拿到了50.46分，同样是最高。LexRM-Element在要素维度排第二，仅次于Skywork-Qwen。这几个数字放在一起看，说明一件事：针对性设计的小而精的训练数据，能打赢数据量更大但没有专门针对法律场景优化的通用模型。

更关键的验证是在强化学习环节。研究团队拿训练好的LexRM去指导GRPO（一种强化学习算法）训练策略模型，和传统的"只看最终答案对不对"的结果奖励做对比。

GRPO*：一种基于群体相对比较的强化学习策略优化算法，让模型在同一批生成结果中互相比较优劣，从而学会生成更好的输出。

对比结果相当明显。在要素维度上，用LexRM做奖励信号训练出的模型（表格里叫GRPO (RM)）比用传统结果奖励训练的模型（GRPO (rule)），五项要素指标的平均分从60.86分提升到了66.66分，提升了接近6个百分点，法条预测的F1分数从48.67提升到54.77，案例分析准确率从51.80提升到53.40，财务计算准确率更是从75.80跳到了89.80，涨了14个百分点。

这个结果背后藏着一个很值得琢磨的现象。论文里提到，用传统的结果奖励去训练模型，模型确实能在"最终答案"这一个指标上有点进步，但支撑这个答案的中间环节，比如援引的法律依据，反而原地踏步甚至退步了。这就像一个学生考试蒙对了选择题答案，但解题步骤全是错的，老师如果只看答案打分，这个学生会被鼓励继续靠蒙对题，而不是学会真正的解题方法。只有把推理过程本身也纳入评分，才能逼着模型把"怎么想"这件事做对，而不只是凑巧猜中"想出什么"。

论文还单独做了一个消融实验，把三个维度内部的子标准拆开单独测试，看看是不是每个子标准都在发挥作用，还是说只要抓住一个核心子标准就够了。结果显示，综合所有子标准得出的总分，在几乎所有任务上都是表现最好或接近最好的,但没有任何单一子标准可以在所有任务上都保持最优。

比如在要素维度里，如果只看"主体"这一项子标准，完全不管法条援引是否正确，那法条预测的得分会从综合评分的33.10分骤降到只有7.60分，掉了超过25个百分点。这个数字很直观地说明了一件事：如果打分系统本身存在盲区，模型就会在那个盲区里学坏，因为它根本没被奖励去做对那件事。这就跟考试只考语文不考数学一样，学生当然不会花心思学数学，不是学生不聪明,是评价体系根本没给他动力。

写在后面

读到LexRM-Merge这个细节的时候，我其实愣了一下。三个独立训练出来的奖励模型，参数更新方向的余弦相似度低到几乎可以忽略，这个发现本身挺反直觉的。按理说，风格、要素、推理链这三件事都是"评判一份法律文书好坏"的子任务，直觉上会觉得它们学到的东西应该有点重叠才对，比如一份逻辑清晰的回答往往也会用词更规范。但实验数据告诉我们，这三件事在模型参数空间里几乎是正交的，各自占据了独立的方向。

这个发现其实暗示了一个更深的问题：法律回答质量的好坏，真的是三个相互独立的能力拼起来的，而不是一个笼统的"写得好不好"的单一维度在决定一切。这跟我们平时判断一个人"会不会办事"有点像,办事能力好,不代表这个人嘴皮子利索；嘴皮子利索,也不代表这个人逻辑清楚。能力之间可以互不干扰地独立存在，这件事放在人身上我们本来就知道，放在AI模型的参数空间里再被验证一次，还是挺有意思的。

论文最后老老实实承认了一个局限：这整套分类体系是从中文法律语境里长出来的，没在其他语言、其他法律体系上测试过。这个限制其实挺诚实，法律这个东西本身就是高度依赖具体司法体系的，中国的法条援引逻辑和普通法系的判例推理逻辑可能根本不是一套语法。这套三维度的框架能不能直接搬到英美法系去用，还是得重新设计，这是一个留给未来的开放问题，值得继续追问下去。

Q&A

Q1：LexReward是什么？

A：LexReward是一套面向法律大模型的奖励框架，把法律回答质量拆解成风格、要素、推理链三个维度，分别设计评分规则，用来训练更懂法律的AI模型。

Q2：LexRM和普通的奖励模型有什么区别？

A：LexRM是专门针对中文法律场景训练的奖励模型家族，分维度打分，训练数据量更少但针对性更强，在风格和推理链维度上表现超过了数据量更大的通用奖励模型。

Q3：只看最终答案对不对的训练方式有什么问题？

A：这种结果奖励方式会让模型学会蒙对答案而忽视推理过程，实验显示用传统结果奖励训练的模型，法律依据援引等中间环节会停滞甚至退步,而加入过程维度奖励后财务计算准确率能提升14个百分点。