SearchJev：让搜索智能体学会"快思考"，决策速度提升5倍还更准

你有没有观察过自己上网搜资料的样子？

打开一个搜索结果，扫一眼标题，心里立刻冒出一个判断：这个有用，还是没用。点进一篇长文章，读了两段就知道这篇到底解决不解决你的问题。这些判断快得几乎感觉不到思考过程，它们是本能反应，不是推理。

现在的AI搜索智能体也要做同样的事情，但做法完全不同。

一、一个被忽略的效率黑洞

现在流行的搜索智能体，比如ReAct、Search-R1这类系统，工作方式是把搜索和推理揉在一起，靠一个大语言模型连续生成文字来驱动整个过程。

这些智能体在搜索过程中要反复做很多小判断：这篇文档和问题相关吗？现有的证据够不够回答问题？接下来该点开哪个链接？这些判断单独看都很简单，答案往往只有几个字，但系统却要让一个几十亿参数的大模型完整地"思考"一遍、逐字生成答案，才能给出结果。

这就像为了确认冰箱里有没有牛奶，你不是扫一眼货架，而是把整个冰箱的内容物写成一篇说明文，读完说明文才知道答案。

如果不这样拆解流程会怎样？论文里给出了具体数字：用同等规模的Qwen3.5模型直接生成式地做这些小决策，一次决策要花144到195毫秒，而且置信度还经常是错的，模型说"我有90%把握"，实际对的概率可能只有60%。这种自信和实际表现不匹配的问题，有个专门的名字。

**校准*：指模型给出的置信度和它实际正确率之间的匹配程度。一个校准良好的模型，如果说"我有80%把握"，那么在它说这句话的所有情况里，应该大约有80%确实是对的。**

华为这篇论文里提出的SearchJev，想解决的就是这两个问题：小决策的速度，和置信度的可信度。

二、思维的两套系统

论文的理论起点来自心理学家丹尼尔·卡尼曼那本很有名的书，书里把人的思维分成两套系统。

**系统1与系统2*：系统1是快速、直觉式的反应，比如看到一张脸立刻认出是谁，不需要刻意推理；系统2是缓慢、费力的逻辑推理，比如心算一道两位数乘法题，需要一步步来。**

论文的核心思路是：搜索智能体里那些"这篇文档相关吗""证据够不够"的小判断，本质上是系统1该干的活，不该每次都动用系统2那套完整的生成式推理。

这个思路听起来直白，但真正做出来有门槛。因为系统1需要同时具备两个特性：快，而且可信。市面上已经有一些思路尝试过，但都有缺陷。

一种做法是给每类决策单独训练一个模型，比如专门做相关性判断的重排序器monoT5，专门判断问题复杂度的分类器。这类方法准，但搜索智能体里的决策类型太多了，光这篇论文就总结出六种，每种都单独训练一个模型，维护成本太高。

另一种做法是直接让通用大模型去生成判断，靠提示词控制输出格式。这种方法灵活，什么决策类型都能处理，但前面说过了，慢，而且置信度不可信。

SearchJev想走第三条路：一个模型，处理所有决策类型，而且又快又准。

三、把判断题变成选择题

SearchJev的核心设计，是把每一个决策都包装成一道带有固定选项的题目，然后直接从语言模型的内部打分机制里读出答案的概率分布，不让模型逐字生成文字。

具体怎么做？给模型的输入由三部分拼成：当前的搜索状态（用户问的是什么、搜索历史是什么、手头有哪些候选文档），要做的这个决策任务（用自然语言写的问题，比如"这篇文档和查询相关吗"），以及这道题的合法选项（比如"A. 相关 B. 不相关"）。

模型读完这段输入后，不是去生成一段话，而是只看它对下一个词的预测概率，具体就是A和B这两个候选字符对应的内部打分，把这两个打分归一化成一个概率分布，直接当作最终答案。

**词元概率读出*：指不让模型把答案写出来，而是直接读取模型内部对候选答案词的打分，经过归一化处理变成概率分布。这个过程只需要模型做一次前向计算，不需要像写文章那样一个字一个字往外蹦。**

这个设计带来的好处是显而易见的：模型根本不用"写"答案，它只需要"想"一下，然后把内心的倾向直接报出来。这就是为什么SearchJev能比同等规模的生成式模型快5.2到5.3倍。

打个比方。老师出了一道选择题，同学甲拿到题目后，先打草稿，写下"我觉得选项A提到了……选项B没有提到……综合考虑我认为答案是……",最后把结论誊写一遍交上去。同学乙直接在心里过一遍四个选项，脑子里哪个念头最强就把哪个选项的字母圈出来。两人最终给出的答案可能一样对，但乙的速度肯定比甲快得多，因为乙省掉了把思考过程转写成文字的那一步。如果非要让乙也像甲一样完整地写一遍论证过程，乙的答题速度会被白白拖慢，而这部分拖慢对答案本身没有任何帮助，因为老师只看最后圈的字母。SearchJev做的就是让模型当"同学乙"。

四、让置信度说真话

光快还不够，论文还要解决置信度不可信的问题，这是靠一套叫SLCD的训练方法实现的。

**SLCD（校准决策的软标签学习）*：一种训练方法，让模型从带有不确定性的标签中学习概率，并在训练后专门校准输出的置信度，使其更接近真实准确率。**

这里有个关键设计叫"软标签"。

**软标签*：不是非黑即白的"对"或"错"，而是带着置信度的标注，比如某条数据的真实标签不是确定的"相关"，而是"有85%的可能是相关的"。**

为什么要用软标签？因为论文团队构建训练数据时，监督信号的来源五花八门：有的来自人工标注的权威数据集，置信度给到0.97这么高；有的来自大模型充当"老师"打的标，或者智能体执行轨迹里推导出来的标签，这类数据置信度只给0.70。如果强行把所有标签都当成100%确定的"硬标签"去训练，模型会把本来不那么可靠的监督信号也学得死死的，过度自信。

训练时用的损失函数是交叉熵和Brier分数的加权组合，这两者都属于"严格适当评分规则"。

**严格适当评分规则*：一种数学性质，指这种损失函数只有在模型预测的概率分布恰好等于真实的目标分布时才能取得最小值，不会诱导模型投机取巧地给出偏离真实不确定性的答案。**

训练完成之后，还有一步"温度校准"，专门针对不同类型的决策（选择题、打分题、是非题）分别去拟合一个温度参数，用来微调模型输出概率的"尖锐程度"，让模型的置信度和真实准确率对齐。

这整套流程像什么？想象一个新手天气预报员，一开始他说"明天80%会下雨"的时候，可能实际只有50%的日子真下了雨，他的自信心和准确率是脱节的。气象台的做法不是直接否定他的判断能力，而是收集他过去一年所有"说80%"的那些天，看看里面到底有多少天真下雨了，然后用这个真实比例去校正他以后说"80%"这句话的含义。如果气象台偷懒不做这一步校准，天气预报员嘴里的数字就只是一串没有意义的符号，听众没法根据这个数字决定要不要带伞。SLCD做的就是给搜索智能体内部装一个这样的"校准台"。

五、六类决策，一个统一战场

为了训练和评测这套系统，论文团队专门搭建了一个基准测试集，叫SearchDecision-Bench。

**SearchDecision-Bench*：论文构建的一个统一基准，把搜索过程中的各种判断整理成六种类型，覆盖路由、改写、相关性、充分性、导航、验证，用于训练和评测搜索决策模型。**

这六类分别是什么意思？路由类判断一个查询的意图是什么、需不需要检索；改写类判断两个问法是不是同一个意思；相关性类判断文档和查询对不对得上；充分性类判断手头证据够不够回答问题；导航类决定搜索智能体下一步该干什么（继续搜、打开页面、还是直接回答）；验证类判断某条证据支不支持某个结论。

这些数据来自中英文各种现成的资源，比如意图分类数据集BANKING77、问题改写数据集QReCC、段落检索数据集T2Ranking，论文团队把它们统一转换成相同的"状态加题目"格式，总共整理出近30万条训练样本，另外还留出了分布内测试集和分布外测试集，专门用来检验模型会不会"死记硬背"训练数据，而是真的学会了判断这件事的通用能力。

六、决策效果到底有多强

实验部分最直观的就是数字。在SearchDecision-Bench的六类分布内测试里，SearchJev和同等参数规模、没有专门训练过的Qwen3.5生成式模型对比，结果相当悬殊。

| 决策类型 | Qwen3.5-4B(生成式) | SearchJev-4B |

|---|---|---|

| 相关性 NDCG | 96.7 | **99.0** |

| 充分性准确率 | 57.7 | **96.0** |

| 路由准确率 | 53.3 | **86.6** |

| 改写准确率 | 66.1 | **85.9** |

| 验证准确率 | 55.1 | **93.2** |

| 决策延迟(毫秒) | 195.2 | **37.1** |

充分性判断这一项尤其夸张，从57.7%直接跳到96.0%，接近翻倍。而且速度还快了5倍多。

和一个叫Jev 1.13的闭源商用系统1模型比，SearchJev在充分性、路由、改写、验证四项上都更强，相关性打平，只有导航这一项Jev更胜一筹，但SearchJev在速度上比Jev快了7到9倍。

校准表现同样亮眼。用平均校准误差（ECE，数值越低说明置信度越可信）来看，SearchJev相比同尺寸的Qwen3.5生成式模型，误差平均降低了41%到74%。

七、搭进实际的搜索智能体会怎样

单独测决策能力说明不了全部问题，真正要看的是把SearchJev装进一个完整的搜索智能体之后，答案准不准、省不省时间。

论文设计了一个双系统架构：系统2（用27B参数的Qwen3.5担任）负责规划、生成搜索查询、组织最终答案，系统1（也就是SearchJev）负责那些高频出现的小判断。

**置信度门控*：一种分流机制，当SearchJev对某个判断的置信度达到预设门槛时直接采纳它的结果，低于门槛就把这个判断转交给系统2重新判断一遍。**

这个设计的精妙之处在于，它不要求系统1永远正确，只要求系统1知道自己什么时候不确定。模型越是能准确地说"这道题我没把握"，整个系统就越敢把"有把握"的判断交给它放手去做。

如果没有这道置信度门控会怎样？要么是全盘信任系统1的输出，一旦它判断错了没人兜底，答案质量会打折扣；要么干脆什么都不信任系统1，所有决策都丢给系统2重新来一遍，那前面提速的所有努力就白费了。门控机制相当于给了系统1一个"自己掂量能不能扛下这个活"的权利，这恰恰是这套校准工作真正派上用场的地方：如果置信度本身是瞎编的，这道门根本没法正常工作。

在BrowseComp-Plus这个真实场景的测试集上（100道题，用BM25做检索器），结果是这样的：

| 智能体配置 | 准确率 | 系统2调用次数 | 输出词元(千) | 耗时(秒) |

|---|---|---|---|---|

| 纯系统2(27B) | 45.0 | 90.3 | 73.7 | 4080 |

| 系统2+Jev 1.13 | 46.0 | 76.0 | 18.3 | 1018 |

| 系统2+SearchJev-0.8B | 46.0 | 62.1 | 15.5 | 868 |

| 系统2+SearchJev-4B | **54.0** | 84.6 | 22.1 | 1102 |

单独用27B的大模型包办一切，准确率只有45%，还要花4080秒（也就是68分钟）处理一道题。而加入SearchJev-4B之后，准确率涨到54%，时间缩短到1102秒，速度提升了3.7倍。

这组数字值得多说两句。准确率从45%到54%，差了9个百分点，意味着原来10道题答错5.5道，现在只答错4.6道。这不是靠堆更大的模型实现的，系统2本身的参数量没变，变的只是分担小判断的方式。

八、泛化能力：没见过的题也能答对吗

一个模型在训练数据上表现好不奇怪，真正考验水平的是没见过的数据。论文专门测了四类分布外数据，用的是FRAMES、RAGTruth这类held-out数据集。

结果显示，SearchJev-4B在路由、改写、相关性三项上依然比同尺寸生成式模型强，路由准确率的提升幅度达到11.9到12.1个百分点。校准表现则参差不齐：在改写和相关性上更准，在路由上有进步，但在验证上不如Jev 1.13。速度优势保持得很稳定，依然是5.3到5.5倍。

这说明SearchJev学到的不完全是死记硬背某个数据集的套路，而是一定程度上掌握了"怎么根据题目文字本身去判断"这件事，这要归功于训练时用了大量不同措辞的问法去描述同一个决策，逼着模型从问题的语义本身学习，而不是记住固定的提问句式。

九、这个设计到底解决了什么根本矛盾

回头看，SearchJev要解决的矛盾其实很朴素：搜索智能体里，既需要快速反应的小判断，又需要深思熟虑的大决策，而传统做法用同一套生成式机制去应付这两种完全不同性质的任务。

这就好比一家公司，把递送文件这种简单重复的工作和制定年度战略这种复杂决策，都交给同一位高管亲自处理，还要求两件事都用同样严谨的书面报告流程走一遍。高管自然会被日常琐事拖垮，真正重要的战略决策反而得不到应有的精力投入。SearchJev相当于给公司配了一名专职的事务助理，能分辨哪些事情自己可以当场拍板，哪些事情必须转交给高管亲自定夺，高管因此能把更多精力放在真正需要深度思考的事情上。

论文附录里还给出了一个数学证明，说明只要模型的置信度校准得足够好，基于这个置信度做出的决策，和"上帝视角"下真正最优的决策之间的差距，是可以被校准误差本身上界约束住的。这句话翻译成人话就是：校准做得越好，置信度就越值得信赖，基于它做出的取舍就越接近理论上限。这也从理论上说明了为什么SLCD不是锦上添花，而是这套系统能稳定工作的基石。

写在后面

读这篇论文时，最触动我的不是那些速度提升的数字,这类工程优化在AI领域见得太多了。真正让我多想了一会儿的是论文附录里那个经过数学证明的命题：决策的实际效果损失，有一个由校准误差决定的上界。

这意味着"校准"这件事不是一个锦上添花的附加指标，而是直接决定了系统到底有没有资格做自主决策。一个置信度乱标的模型，哪怕它的整体准确率看起来不低，也不能被信任去自己决定什么时候该把问题转交给更强的模型。这个视角让我重新理解了为什么论文花了大量篇幅在软标签和温度校准上，这不是训练技巧的堆砌，而是整个双系统架构能跑起来的前提条件。

另一个让我意外的细节是，在和闭源的Jev 1.13对比时，SearchJev并非全面占优。它在导航任务、以及部分分布外场景的校准上，反而不如对手。论文没有回避这一点，老老实实把数据摆出来。这种不完美反而让整个研究显得可信，一个号称"全面碾压"的结果通常更值得怀疑。

这篇论文留下的一个开放问题是：六种决策类型是不是搜索智能体真正需要的全部？随着智能体被用到更复杂的任务场景里，会不会冒出来第七种、第八种需要"快思考"的判断？如果有新的决策类型出现，这套schema化的框架能不能直接扩展进去，而不需要从头设计一遍。这个问题留给时间去回答。

Q&A

Q1：SearchJev是什么？

A：SearchJev是华为提出的一个快速且校准良好的"系统1"决策模型，专门处理搜索智能体中的相关性判断、证据充分性判断等短决策任务，不依赖传统的逐字生成方式，而是直接从模型内部打分读出答案概率。

Q2：SearchJev比普通大模型生成式决策快多少？

A：在SearchDecision-Bench基准测试中，SearchJev比同等参数规模的Qwen3.5生成式模型快5.2到5.3倍，比闭源的Jev 1.13系统快7.2到9.6倍，同时决策准确率和置信度校准也都有明显提升。

Q3：装了SearchJev的搜索智能体实际效果怎么样？

A：在BrowseComp-Plus测试中，用SearchJev-4B搭配27B参数的大模型，答案准确率从纯大模型方案的45%提升到54%，同时处理每道题的时间从4080秒缩短到1102秒，提速3.7倍。