Chinese-Jev：给中文决策任务配一个不用大模型的"快脑子"

先说个可能会让你愣一下的事实。

现在做客服路由、意图识别、答案打分这类活儿，很多团队的第一反应是"上大模型"。写个提示词，调个 API，几秒钟出结果，看起来很省心。但如果你真的把这套流程铺到生产环境里，跑一天几十万次调用，账单和延迟会同时找上门。更麻烦的是，中文场景下这些通用大模型的决策准确率经常并不理想。这篇论文里提到的一个对照数据很扎眼：一个通用大语言模型 Qwen3.5-2B 在中文通用决策任务上的准确率只有 32.95%，而专门做决策判断的闭源模型 Jev 能到 68.35%。差了 35 个百分点，这意味着每 3 次判断里，通用大模型就有 1 次以上是错的，而专用模型犯错的概率明显低得多。

这就是这篇论文要解决的问题：怎么让一个体积小、跑得快的模型，在中文任务上做到不输甚至超过那些庞大的通用系统。

系统一和系统二，这是个心理学的老概念

如果你读过心理学家丹尼尔·卡尼曼的书，可能对"系统一"和"系统二"这两个词有印象。简单说，系统二是那种需要费脑子、慢慢想的思考过程，系统一则是快速、直觉式的反应。

论文里的 Jev（一种系统一模型，专门做三类判断：从候选项里选一个、判断一个说法对不对、给一个东西打分）正是借用了这个类比。它不写文章,、不生成长篇大论，它只做决定。你把问题和候选答案喂给它,它秒级返回一个概率分布,告诉你哪个选项最靠谱。

这种模型存在的意义在于,很多软件场景压根不需要一篇作文,只需要一个标签或者一个分数。让一个大模型去回答"这句话的情感是正面还是负面",相当于请了一个博士生来算一道小学算术题,能算对,但代价太大。

Chinese-Jev就是要把这套"系统一"的思路,原原本本地搬到中文世界里,并且做得比现有方案更准。

数据这道坎:中文任务的标注五花八门,怎么统一喂给模型

做这件事最先撞上的墙,是数据格式不统一。

中文互联网上现成的标注数据,形态各异。有的是单选题,比如"谁接电话?A小李 B小李的朋友 C小王";有的是是非判断,比如"衬衫能改短吗?回答:可以";有的是打分,比如两句话的语义相似度打0到5分;还有的是多选题,选项之间互相独立,可能同时对好几个。

这些标注形式如果各自为战,训练时就得给每种任务单独写一套逻辑,模型也没法共享能力。研究团队的解法是设计一套统一的数据转换协议,把所有这些异构标注都转成一种共同的表示:一个上下文、一条指令、一个决策类型(选择/判断/打分)、一组候选项,以及一个目标概率分布。

举个例子,DuReader数据集里的一条"是否"标注,原本是"能不能改短衬衫,答案是可以"。转换后变成一个明确的命题:"这个回答是否表达肯定立场?",然后把"可以"这个标签映射成目标分布(0, 1),也就是"真"的概率是1,"假"的概率是0。

再比如遇到多选题,像医学考试里"心房颤动的临床特点包括哪些",选项有五个,正确答案可能包含好几个。这种题目会被拆解成一个个"选项是否成立"的独立判断,每个选项单独问一次"这个选项该不该被选中",答案就是"真"或"假"。

这种拆解方式有点像你去银行办业务,原本柜员要同时核对你的五张证明材料是否齐全,如果混在一起问"材料齐全吗",一旦有一张出问题,你根本不知道是哪张的问题。但如果柜员把每张材料单独核对一遍,分别给出"这张通过"或"这张不通过",你立刻知道该补哪一份。如果不做这种拆解,多选题的监督信号会非常模糊,模型学到的可能只是"蒙一个大概率对的组合",而不是真正理解每个选项本身的正确性。

这套转换协议*：论文中设计的数据处理流程，能把各种不同格式的中文标注（单选、是非判断、打分、多选）统一转换成"候选项+目标概率"的格式，方便同一个模型训练。

用这套协议,团队攒出了一个1000万条决策组成的通用训练语料,横跨八个任务类别,从方面提及、情感分析到语义匹配、阅读推理都有覆盖。同时还专门为医疗、法律、金融三个领域各自准备了专属语料。

为了避免"作弊",研究团队还做了一件容易被忽略但很重要的事:凡是来自同一份原始材料的题目(比如同一段新闻衍生出的好几个问题),都被强制分到同一个数据切分里,不会一部分进训练集一部分进测试集。这就像考试前老师把题库里所有基于同一篇课文出的题目都归到一类,要考就一起考,要留着评分就一起留着,免得学生提前见过某道题的"姐妹题"就蒙对了答案。如果不这样处理,模型很可能只是记住了某段文字的表面特征,测试时看到相似的句式就"投机取巧"地答对,而实际上根本没有学会真正的判断能力。

架构选择:为什么用编码器,而不是更时髦的生成式大模型

Chinese-Jev的骨架是一个轻量级的编码器模型(bidirectional mmBERT encoder,一种能同时看到上下文前后信息的双向编码器),而不是当下流行的自回归生成式大模型。

编码器模型*：一类会把输入文本一次性"读完"再统一理解的模型（区别于逐字生成的生成式模型），处理速度快，适合做分类和打分这类"读完就出结果"的任务。

具体做法是,把决策类型、指令、所有候选答案和上下文,一起拼成一条序列,在每个候选答案前面插一个标记位。编码器读完整条序列后,输出每个位置的表示。接着经过一个专门的"决策变换层"处理,里面还加入了一个可学习的类型嵌入,让模型知道当前任务是选择、判断还是打分。最后一个共享的多层感知机对所有候选标记位置打分,softmax归一化后就得到每个候选项的概率。

这套设计最巧妙的地方是,一次前向计算就能给所有候选项打分,不需要像有些方案那样把每个候选项单独喂给模型跑一遍。

这就好比你去餐厅点菜,如果服务员每报一个菜名都要跑回厨房问一次师傅"这个能做吗",五个菜就要跑五趟。但如果服务员把整张菜单一次性递给厨房,厨房扫一眼直接告诉你哪几个能做、哪几个不能,效率天差地别。如果不采用这种一次性打分的架构,模型面对一个有五个候选项的选择题,推理成本就要翻五倍,这在需要毫秒级响应的场景里是完全不可接受的。

训练目标:交叉熵不够用,还加了一层强化学习式的校正

单纯用交叉熵损失(一种衡量预测分布和真实分布差距的常用损失函数)训练分类任务已经是标配做法,但这篇论文还叠加了一个叫RLCD的目标函数。

RLCD*：论文借用的一种策略梯度式训练方法，通过在模型输出的候选打分上加入随机扰动，再根据扰动后的结果距离目标分布的远近给予奖励，帮模型学得更稳。

具体过程是,对每个决策的候选打分(logits)加上一些随机噪声,生成若干个"扰动版本"，然后看这些扰动版本换算成概率分布后跟真实目标差多远，差得越远奖励越低。对于有序打分类任务(比如1到5分的评分)，还专门加入了一个叫排序概率得分(RPS)的指标，用来惩罚那些"方向错得远"的预测，比如把该打4分的东西预测成1分，比预测成3分要罚得更重。

这有点像射箭训练,普通的交叉熵只告诉你"没中靶心",但RPS这种机制还会告诉你"你偏了多远,往哪个方向偏"。如果只是简单粗暴地说"错了就扣分",模型学不出"差一点"和"差很远"之间的区别,对于评分这种有顺序关系的任务,这个区分至关重要。

两阶段训练:先学通用,再专精一门

模型训练分两步走。第一步在1000万条通用语料上训练一轮,得到Chinese-Jev General(通用版)。第二步,从这个通用版本出发,分别在医疗、法律、金融三个领域的专属语料上各自微调,互不干扰,得到三个专科医生一样的专业模型。

医疗方向用了300万条数据训练四轮,法律和金融各用2.4万条数据训练四轮。参数规模大约3.22亿,并不算大,在8张H200显卡上完成训练。

这种"先博后专"的路数,像医学生的培养过程。先读五年医学院打通用基础,再进医院分科室实习,变成心脏科医生或者骨科医生。如果反过来,直接让一个从没学过基础医学的人钻进心脏科死磕,他可能连基本的病理术语都看不懂,专科训练的效果会大打折扣。论文里的数据也印证了这一点:在没有经过通用预训练的情况下,直接用多语言底座模型（Laya Multilingual）去跑金融任务，准确率只有38.31%，还不如经过通用中文预训练后的Chinese-Jev General（35.39%？不,这里通用预训练后反而略低于原始底座，说明单靠泛化训练并不能包打所有领域，这也是论文诚实指出的一个局限）。

效果到底怎么样

在通用任务上,Chinese-Jev General达到69.20%的准确率,比闭源的Jev模型的68.35%高出0.85个百分点，相对提升1.24%。看起来不算夸张，但校准误差（ECE，衡量模型给出的置信度和实际准确率是否匹配的指标，数值越低说明模型越"知道自己有多大把握"）从Jev的11.45%降到了3.78%，降幅接近七成。

校准误差*：一种衡量模型自信程度是否可靠的指标。如果模型说"我有90%的把握"，但实际上只对了60%，说明它"过度自信"，校准误差就会很高。

速度方面差距更明显。Chinese-Jev的推理延迟是14毫秒，而调用Jev的云端API需要284毫秒（其中包含网络往返时间），快了20.3倍。这个对比不完全公平，因为Jev是托管服务，有网络开销，但对于实际部署来说，这个差距是真实存在的，因为用户体验到的就是端到端延迟。

在专业领域，医疗方向的专科模型表现最亮眼，准确率87.65%，比Jev的84.29%高出3.36个百分点，相对提升4.0%。法律和金融方向的专科模型分别是60.10%和64.72%，都还落后于Jev（68.35%和78.39%），三个领域平均下来，Chinese-Jev的专科模型达到了Jev平均准确率的92%，同时延迟只有Jev的约十七分之一（15毫秒对256.33毫秒）。

有个细节值得说一说：校准这件事在专科化之后表现并不一致。医疗领域的ECE从17.33%降到7.25%，改善明显；金融从14.43%降到11.55%，也有进步；但法律领域反而从15.37%升到17.45%，尽管准确率提高了。这说明"准确率提升"和"校准变好"并不是一回事，一个模型可能越来越会答题，但同时也越来越"过度自信"，这是论文自己坦承的一个不完美之处，没有藏着。

手机上跑起来是什么体验

论文还做了一个挺有意思的落地实验：把模型量化成INT8精度（一种压缩模型体积、加快运算速度的技术，用较低精度的数字表示模型参数），塞进浏览器里，在iPhone 15 Pro上本地运行。

INT8量化*：把模型内部原本用32位或16位浮点数表示的参数，压缩成8位整数，模型体积和计算量大幅下降，但精度会有一定损失。

测试场景是一个日程提醒的例子："明天上午九点开会，八点半提醒我"，模型要从"设置提醒"、"查询天气"、"播放音乐"三个选项里选出正确的那个。整个过程包括分词和推理都在手机本地完成，不用联网，响应时间大约1秒。这意味着用户的输入内容完全不需要传到云端服务器，隐私和延迟都有了保障。

这就像你家里装了一个不联网的智能音箱，指令处理全靠本地的小芯片，不用等云端服务器返回结果，也不怕录音被传到不知道哪个服务器。如果不做本地化部署，每次交互都要联网传输、排队等待远程模型处理，遇到网络不稳定的场景，体验会大打折扣。

CJ-Bench：给中文决策模型专门配的考卷

论文顺带介绍了他们自己搭建的评测集，叫CJ-Bench，一共30.79万条留出的测试决策，覆盖通用、医疗、法律、金融四大板块。评测指标主要看三项：准确率、校准误差，还有推理延迟，三管齐下，避免只看准确率这一个维度造成误判。

这套评测思路，跟体检报告有点像。如果只测血压不测血糖，你可能会漏掉隐藏的健康风险。同理，如果一个决策模型只报准确率，不报校准误差，你可能会用上一个"看起来很准但其实很盲目自信"的模型，一旦遇到边界情况就翻车，而你根本不知道它什么时候该被信任。

这篇论文放在更大的背景下看，属于"通才文本分类"这个研究方向的延伸。之前的工作比如GLiClass，把输入文本和候选标签一起塞进一个编码器里处理，允许文本和标签之间、标签和标签之间产生交互。Chinese-Jev借鉴了这个思路，但专门为中文场景和choice、noul、score三种决策类型做了定制化设计。另外，Kotoba Labs推出的Open-Jev和多语言版本的Laya，用双向编码器学习候选打分函数，这也是Chinese-Jev架构上的直接前身。中文方向此前已经出现过一些尝试，比如xuhaodev发布的Qwen3-1.7B-Jev主要针对足球领域问答，用语言模型架构加决策头；chaoliangUNSW的MacJev是一个双语编码器，用于工具路由和任务状态检查。Chinese-Jev在这些工作的基础上，把训练范围扩展到通用中文场景加三个专业领域，这是它和前人工作最大的不同。

写在后面

读完这篇论文，我最先想到的不是技术细节，而是一个挺实际的问题：我们是不是把"大模型能力"和"大模型必要性"这两件事混在一起太久了。

很多产品经理默认的假设是，AI能力越强，就应该上更大的模型。但这篇论文用具体数字告诉你，一个3亿参数级别的编码器，配合精心设计的数据转换流程，就能在特定任务上打平甚至超过闭源的专用系统，而且速度快出十几到二十倍。这不是说大模型没用，而是说任务和工具之间存在错配的空间，很多时候不是模型不够强，是选错了工具。

另一个让我有点意外的地方，是法律和金融领域的专科模型表现反而不如通用的Jev模型。论文只用了2.4万条训练数据去微调这两个领域，相比医疗领域的300万条，数据量差了两个数量级。这个差距直接反映在结果上，说明专科化不是"套上一层微调"就万事大吉，背后依然是数据规模的硬约束。这也提醒我，任何"领域适配"的说法背后，都该先问一句：喂了多少数据？

论文里那个ECE在法律领域反而变差的现象，也值得多想一层。一个模型答得更准，但同时更容易"过度自信"，这种矛盾在现实世界的决策系统里其实相当危险，尤其是涉及法律判断这类高风险场景，一个自信满满却经常出错的系统，比一个谦虚但同样出错的系统更容易让人放松警惕。

如果你正在琢磨要不要给自己的应用换一个"系统一"式的轻量决策模型，这篇论文至少给了一个诚实的参照：通用任务上可以放心尝试，专业领域上得先看清楚训练数据够不够厚。

Q&A

Q1：Chinese-Jev是什么？

A：Chinese-Jev是一个面向中文场景的系统一决策模型，专门用于从候选选项中选择答案、判断命题真假、给内容打分这三类任务，相比大语言模型体积更小、速度更快。

Q2：Chinese-Jev的准确率比闭源的Jev模型高吗？

A：在通用中文任务上，Chinese-Jev准确率为69.20%，比Jev的68.35%略高，同时推理速度快了20.3倍；在医疗领域准确率也超过了Jev，但法律和金融领域仍略低于Jev。

Q3：Chinese-Jev能不能在手机上离线运行？

A：可以，论文展示了将模型量化为INT8精度后部署在iPhone上浏览器本地运行的实验，响应时间约1秒，全程无需联网，输入内容不会上传到服务器。