
你有没有遇到过这样的情况:公司要做一个岗位描述分析系统,需要从招聘文案里抓取技能、学历、工作经验这些信息,结果发现市面上的抽取模型要么是为某个固定任务训练的,换个场景就歇菜,要么是能接受自定义指令,但一到新领域新标注规则就开始胡乱发挥。
这不是个例。信息抽取这件事,把文本变成结构化的实体、关系、事件记录,听起来简单,做起来却是个无底洞。不同应用需要的信息类型天差地别,所以一个靠谱的抽取系统必须能跟着用户给的规则走。问题是,支持用户自定义类型,这件事本身并不能保证抽取结果准不准。
这篇论文要讲的,就是一个试图同时解决"灵活"和"准确"这两件事的模型,叫CALON,参数量只有0.6B,比现在动辄几十上百亿参数的大模型小了一两个数量级,但在40个评测基准上反而打赢了一大票更大的对手。
**核心问题出在哪**
先说说这个领域此前的两条路子。
一条是判别式模型,直接从输入文本里预测出span(文本片段)和它们的类型。代表选手有UniEX、GLiNER、GLiNER2、GLiFormer这些。它们的问题是性能在不同领域和任务之间会跳来跳去,有的擅长识别音乐类实体,换成科学文献就掉链子。
另一条是生成式模型,比如UIE、InstructUIE、GoLLIE,这些模型把抽取任务变成了"生成一段描述抽取结果的文字"。这种方式能接受很复杂的指令,但代价是生成的内容有时候会凭空编出不存在的实体,或者没能完整保留原文的边界。论文里提到一个很扎心的数据:GPT-NER会出现虚假实体预测,GNER团队则专门记录过模型生成文本时出现的边界错误、遗漏、增添甚至改写原词的问题。
生成模型*:通过逐字生成文字序列来输出结果的模型,比如让AI"写"出一段JSON格式的答案,而不是直接在原文里标记位置。
这就好比你让一个新来的实习生帮你整理会议纪要里提到的人名和公司名。一种做法是让他拿着一份名字清单,照着原文逐字核对、圈出来;另一种做法是让他凭记忆重新打一遍清单。前者顶多会漏标,后者却可能把"张总"记成"张总经理",或者凭空多写一个压根没提过的人。生成式模型面临的就是这第二种风险,如果不把生成结果死死锚定在原文上,错误就会悄悄混进结构化数据里,而且这种错误往往比"没抽出来"更难察觉,因为它看起来像是对的。
所以CALON选择了判别式这条路,但加了两个关键改动:一个是把实体、关系、事件三件事统一成同一种"span和span对"的打分框架,另一个是在常规的监督训练之外,加了一层强化学习式的奖励机制,专门用来纠正模型在打分时容易犯的错误。
**把三件事变成一件事:span和span对的联合打分**
CALON的底子是Qwen3的0.6B版本,一个双向编码器(把causal mask去掉了,让文本和类型描述可以互相看见对方的全部信息)。
编码器*:把文字转换成模型能理解和计算的数字向量的神经网络模块。
它的输入长这样:先把所有要抽取的实体类型和关系类型连同它们的文字描述一起列出来,后面跟着正文文本。模型会把这段"类型清单加正文"编码成一组向量,每个token(最小的文本单元,可能是一个词或词的一部分)都带着自己的位置信息。
接下来是候选span的构造。一个span最多包含32个token,它的表示由首尾token、整个span的平均向量、以及一个表示长度的宽度嵌入拼接而成。类型(无论是实体类型还是关系类型)则由它的名字和描述的平均向量得到。
这里有个设计很关键,叫交互层。模型不是孤立地给每个候选span打分,而是让所有候选span和所有查询类型之间互相做自注意力计算,一起过两层Transformer块。这意味着判断"这个span是不是人名"这件事,会同时考虑到其他候选span长什么样、其他类型是什么,而不是单打独斗。
交互层*:让多个信息单元互相关注、互相影响彼此表示的神经网络结构。
这种设计有点像一场集体面试。如果每个应聘者单独进小黑屋答题,面试官只能孤立地判断这个人行不行;但如果让所有应聘者坐在一起讨论,面试官反而能更准确地判断谁更适合岗位甲、谁更适合岗位乙,因为比较本身提供了额外的信息。如果不做这种交互,模型遇到"教授"和"科学家"这种边界模糊的相近类型时,就很容易各判各的,自相矛盾。实验也验证了这点:把联合打分换成独立的sigmoid打分后,NER(命名实体识别)的平均F1从61.5掉到53.4,这是论文所有消融实验里降幅最大的一项。
然后是分类的核心机制:零类(null class)。每个候选span要在"所有查询类型加一个空类"里选一个。空类代表"这个span其实什么都不是,别抽它"。这个设计的巧妙之处在于,模型最后决定要不要抽取一个span,看的是它属于空类的概率有多低,而不是直接看某个具体类型的概率有多高。
为什么要这样绕一圈?因为如果一个span同时符合"科学家"和更细分的"物理学家"两个类型,它的概率质量会被这两个类型瓜分,单独看"物理学家"这个类型的概率可能并不高,但综合所有相关类型的概率加起来却可能很高。直接对某个类型设阈值,会误伤这类证据被拆分的span。实验里也验证了,把判断换成"直接对最可能的类型设阈值",NER性能同样会下降,虽然没有独立sigmoid那么惨烈。
这套机制同样套用在关系抽取和事件抽取上。关系候选是有向的span对(比如"张三—工作于—公司"和"公司—工作于—张三"是两个不同的候选,方向也要预测对),用的是类似的打分结构,只是候选表示换成了两个span的向量、它们的逐元素乘积,以及两个span之间文本的平均向量。事件抽取则被拆成两步:先把事件类型当实体类型来查,识别出触发词的span;再把事件类型下的论元角色既当实体类型(标注论元span)又当关系类型(把"触发词到论元"看作一条关系)来处理。
事件触发词*:最直接表达一个事件发生的那个词或短语,比如"爆炸"这个词本身就触发了一个"爆炸事件"。
论元*:填充事件各个角色槽位的具体信息,比如"谁"、"在哪"、"什么时候"。
这套设计相当于把三个看起来不同的任务,实体抽取、关系抽取、事件抽取,全部化简成了同一套"span和span对打分加空类拒绝"的数学语言。好处是,任何能表示成span对的任务都能直接复用这套机制,不需要为每个任务单独设计新模型。论文里顺手验证了这点,把方面级情感三元组抽取(ASTE,找出"笔记本电脑—太重了—负面"这种三元组)、代词消解(判断"它"指代的是哪个名词)、共指消解、事件间的时序和因果关系,统统转换成span对抽取问题后直接喂给同一个模型,结果照样领先。
**训练目标:奖励正确,惩罚错误**
光有架构还不够,CALON的另一个核心创新在训练目标上。
标准做法是用负对数似然损失做监督学习,让模型在正确答案上的概率尽量高。但论文作者注意到一个问题:训练数据来源非常杂,有的数据集每句话都把所有该标的类型标全了(穷尽标注),有的数据集只标了一部分(比如RAMS数据集每段话只标一个事件)。一个查询类型在某条训练样本里没出现标注,到底是"真的没有"还是"标注者懒得标"?这件事必须分清楚,否则模型会被错误地教成"没标注等于不存在"。
论文把每个查询类型的标注状态分成四种:阳性(确实有标注的mention)、阴性(数据来源明确说明不存在)、封闭世界阴性(数据集本身是穷尽标注的,所以没标就是真没有)、未知(无法判断)。前两种都当作"不存在"来训练,未知的则直接从损失计算里剔除。
这就像整理一个班级的出勤记录。有的班主任会把每天每个学生的出勤情况都写清楚,到场或请假;有的班主任只在学生缺勤超过三天时才会记一笔。如果你把后一种记录表直接当成"没写名字就是全勤"去统计,那些请了一两天假但没被特别记录的学生就会被错误地算成全勤。CALON的办法是,凡是搞不清楚到底是不是缺勤的情况,干脆不纳入统计,省得污染整体的判断标准。
接下来是这篇论文名字里"校准"(calibrated)二字的来源,一个叫RLCD的奖励机制。灵感来自强化学习里的GRPO方法(一种不需要额外训练一个评判模型、靠同一批采样结果互相比较来估计优势的强化学习技巧)。
具体做法是,对每个候选span或span对,在它的打分(logits)上加一点高斯噪声,采样出8个不同的"决策版本"。每个采样版本都会独立做出一次分类决策,如果决策结果是正确类型,给+1的奖励;如果是错误类型(存在但判错了),给-1;如果判成空类(即认为不该抽取),给0。然后拿每个采样结果的奖励和其余采样结果的平均奖励做比较,算出一个相对优势,用这个优势去强化那些表现更好的决策方向。
高斯噪声*:一种符合正态分布、数值围绕0上下随机波动的随机扰动,常用于给确定性的数值增加一点随机性以便采样。
这个机制想解决的问题是:同一个候选span,如果打分稍微抖动一下,模型可能从"判对"滑向"判错类型"或者"误判成假阳性"。单纯的最大似然训练只关心"正确答案的概率要高",但不太关心"万一打分有点波动,模型会不会滑向错误答案"。RLCD相当于在训练时主动制造这种波动,然后告诉模型:"你看,这个方向滑过去是对的,那个方向滑过去是错的,以后往对的方向使劲。"
打个比方,这就像是教新手司机倒车入库。只靠一次成功的示范("这样打方向盘就对了"),司机可能记住了那个精确的角度,但遇到一点点偏差就慌了神。更好的训练方式是故意让他尝试几个稍微偏离的角度,告诉他"往左偏一点还能救回来,往右偏这么多就撞墙了",这样他对"安全范围"的理解会比死记一个精确动作更扎实。如果不做这种扰动采样,模型可能只是记住了训练集里那条最优路径,一旦真实场景里的分数出现哪怕很小的抖动,就可能直接扑街。
消融实验显示,去掉这个决策奖励之后,带描述的关系抽取平均F1从49.8降到47.7,降幅相对明显,说明这个机制对关系抽取的帮助尤其突出。
**概率校准:把"信心"也校准准了**
模型训练完之后还有个隐藏的副作用需要修正。由于空类候选数量远远超过正类候选(绝大多数span其实都不是任何实体),训练时给空类的损失权重被调低了(用一个小于1的权重ω)。这会导致模型报出来的"空类赔率"系统性地偏低,相当于模型变得比实际情况更倾向于"抽取"而不是"拒绝"。
论文借用了统计学里处理罕见事件逻辑回归和点击率预测时常用的修正思路,在空类的logit上加一个log(1/ω)的修正项,抵消训练时降采样带来的偏差。这个修正不需要额外数据,也不会改变候选之间的相对排序。
修正加上重新校准温度参数之后,关系抽取的平均期望校准误差(ECE,一种衡量模型"说自己多少把握"和"实际对不对"之间差距的指标)从0.25降到0.10,实体从0.33降到0.23,事件论元从0.51降到0.39,而F1分数几乎没有变化。
期望校准误差(ECE)*:衡量一个模型给出的置信度(比如"我有90%把握")和它实际正确率之间差距的指标,数值越低说明模型越"诚实"。
这个修正的意义在于,一个模型如果说"我有90%的把握这是个地名",结果只有60%的时候是对的,那这个90%的数字就没什么参考价值,用户没法根据置信度去决定要不要人工复核。校准做得好,意味着模型报出的信心数字是可以被信任的,这在真实业务场景里很重要,比如你想设定一个阈值,只有模型信心超过95%才自动入库,低于这个阈值就转人工审核,这时候校准准不准直接决定了这套流程能不能用。
**40个评测基准,CALON赢在哪**
论文在实体、关系、事件三大类共40个评测基准上做了系统对比,对手包括GLiNER2-large、GLiFormer-large、GNER-LLaMA-7B、InstructUIE、GoLLIE-7B这些模型,其中不少参数量是CALON的十倍以上。
| 任务类别 | CALON平均F1 | 最强基线平均F1 |
|---|---|---|
| CrossNER(跨领域实体识别) | **67.8** | 67.6(GLiFormer) |
| 其他领域实体识别(科学/生物医学/测量文本) | **56.6** | 41.5(GLiFormer) |
| 个人信息抽取 | **58.5** | 54.2(GLiFormer) |
| CrossRE关系抽取(端到端) | **36.0** | 10.6(GLiFormer) |
| ASTE情感三元组抽取(gold实体) | **83.0** | 17.1(InstructUIE) |
| 事件触发词分类 | **28.9** | 24.1(InstructUIE) |
| 事件论元分类(gold触发词) | **35.1** | 33.2(InstructUIE) |
关系抽取这一项的差距格外夸张。CALON几乎是全面垄断了所有关系抽取相关的评测基准,无论是传统的关系三元组抽取,还是被转化成span对任务的ASTE、代词消解、共指消解、事件间时序因果关系,都排第一。
这里有个对比很说明问题。论文专门分析了GLiREL(一个专门做关系抽取的基线)在两种设置下的表现:如果只给它"确实有关系标注"的实体对,它的关系分类准确率是40%,而CALON在同样设置下是79%;如果给它所有可能的实体对组合(包括大量根本没关系的对),GLiREL的平均F1只有2.6,CALON是49.8。这说明GLiREL不仅分类能力弱,更关键的是它很难分辨"这两个实体之间到底有没有关系",这恰恰是空类机制要解决的核心问题。
事件抽取方面,CALON在触发词分类和gold触发词条件下的论元分类上都拿到最高平均分。但在CASIE这个网络安全事件数据集上被InstructUIE反超,原因是CASIE的训练集本身被包含在InstructUIE评测所用checkpoint的训练配置里,换句话说这不是公平的零样本对比。如果把CASIE排除在外,CALON在所有三项事件指标上都是第一,端到端论元F1是10.9,对比InstructUIE的8.4。
论文还专门做了类型描述有没有用的实验。在CrossRE数据集上,给模型提供关系类型的文字定义(而不只是类型名字)能让带gold实体的平均F1提高大约16个点。这说明当关系名字本身模棱两可的时候(比如"founded"和"employed by"这种容易混淆的关系名),一句话的定义能帮模型真正理解这个类型在说什么,而不是靠猜。
一个值得琢磨的发现是,论文检验了CALON的表现是不是单纯因为某些类型名字在训练数据里出现得特别频繁。他们把150个被评测的实体类型按训练数据中的出现频次分成三组(低频、中频、高频),结果显示CALON和训练频次之间的相关系数只有0.04,几乎没有关系,而且它在最低频的那组类型上领先基线的幅度反而最大。反观几个生成式基线模型,这个相关系数在0.10到0.21之间,说明它们的表现更依赖"这个类型名字我见过多少次"。这从侧面说明CALON学到的更像是一种可迁移的判断能力,而不是死记硬背的类型名字匹配。
**效率也是个硬指标**
0.6B参数的模型除了准,跑得还快。在同一张GH200 GPU上,用相同的PyTorch框架测试,CALON每秒能处理120个句子,是GLiNER2的约5.5倍,是7B级别模型(GNER、GoLLIE)的11到25倍。它的权重只占1.2GB显存,对比动辄十几GB的大模型,部署成本完全不是一个量级。
这里有个细节挺有意思:CALON对一个给定的schema,所有查询类型和所有候选span的打分都在一次前向传播里完成,不需要像生成式模型那样一个token一个token地往外吐,这是判别式架构在推理速度上天然的优势。生成式模型即便参数量和CALON接近(比如GLiNER2也是0.5B),也因为架构设计的不同在吞吐量上落后不少。
**数据规模和训练细节**
CALON的训练数据来自84个源,总共310万条实例,覆盖人工标注数据、LLM标注文本,以及用大模型(Qwen3.8-27B)生成的合成数据。论文强调训练数据生成流程没有使用任何评测集的文本或标注作为输入、示例或风格参考,也没有用任何目标数据集的标注样本来做模型选择或校准,这点对于判断这个模型是不是"真零样本"很关键。
合成数据的生成有一套质量把关流程:用多个不同的大模型(gpt-oss-120b、Nemotron、Phi-4、Mistral-Small-24B)分别独立标注同一段文本,取多数投票结果,有分歧的地方再交给两个"裁判"模型仲裁,仍然搞不定的直接把这个类型从该样本的schema里剔除。这种多模型交叉验证的思路,有点像期刊审稿制度里让多个独立审稿人分别评审,再由主编裁决分歧意见,目的都是减少单一标注源带来的系统性偏差。
论文还做了一个数据规模扩展实验,用10万、25万、50万、100万、200万条数据分别训练模型,对比最终310万条的完整模型。结果显示,从10万条扩展到50万条时,实体和关系的平均F1各提升了大约5到8个点,但过了50万条之后收益明显放缓,这是典型的边际收益递减曲线,说明数据量不是越多越好,训练数据的质量和覆盖面同样重要。
写在后面
读完这篇论文,最让我意外的不是CALON打赢了多少基线,而是它选择的路径本身。
现在整个AI领域的直觉是"参数越大越好,生成式模型万能",但这篇论文反而证明了一件事:对于信息抽取这种需要严格锚定原文、容错率极低的任务,一个经过精心设计的小模型,配上恰当的训练目标,完全可以碾压参数量大十倍的通用生成模型。这不是在否定大模型的价值,而是提醒我们,"用什么规模的模型"这个问题的答案,应该取决于任务本身的结构,而不是盲目追新。
另一个让我反复琢磨的细节是那个空类校准的问题。训练时为了让模型不被海量的"不存在"样本淹没,人为调低了空类的损失权重,这个操作本身是合理的工程手段,但它悄悄在模型的概率输出里埋下了一个系统性偏差,直到校准环节才被显式地找出来并修正。这件事让我想到,很多看似无关痛痛痒的训练技巧(降采样、加权、过滤),其实都在悄悄改变模型最终输出的"语义",如果不主动去追踪这些副作用,它们可能会在你完全没意识到的地方扭曲结果的可信度。
还有一点,论文里关于GLiREL在"所有实体对组合"设置下F1只有2.6的那个数字,我盯着看了很久。这不是说GLiREL这个模型做得差,而是说关系抽取里"判断两个东西有没有关系"这件事,比"判断是什么关系"难得多,也更容易被评测体系忽略,因为大部分关系抽取评测习惯性地只给"已知有关系"的实体对打分。这个空当被CALON的空类机制恰好补上了。
这篇论文留下的问题也挺直接:它目前只支持英语,span长度封顶32个token,关系只能在同一段输入内部建立。如果换成多语言场景,或者需要跨文档建立关系的任务,这套框架还能不能撑住,这是个值得继续追问的事。
Q&A
Q1:CALON是什么?
A:CALON是一个0.6B参数的统一编码器模型,能同时处理实体抽取、关系抽取和事件抽取三类任务,支持用户自定义类型和描述,在40个评测基准上大部分领先于参数量更大的基线模型。
Q2:CALON为什么能用这么小的参数量打赢更大的模型?
A:它把三类任务统一成span和span对的联合打分框架,加上一个空类机制判断要不要抽取,并用强化学习式的奖励信号纠正模型容易犯的假阳性和类型误判错误,而不是单纯靠堆参数量。
Q3:CALON的训练数据有没有用到测试集内容?
A:没有。论文明确说明训练数据生成流程不使用任何评测集文本或标注作为输入、示例或参考,也没有用目标数据集的样本做模型选择或校准,确保是真正的零样本评测。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。