
你有没有想过这样一个场景:你让一个新来的银行客服帮你处理一笔跨境付款,他手脚很快,三分钟就把钱打出去了,还顺便帮你把之前拖欠的税款也补缴了。结果你一看记录,发现他在打款之前,账户余额曾经短暂跌破了银行规定的最低备付金线。
钱最后到账了,任务"完成"了。但银行的风控部门不会说"没事,反正最后补回来了"。这是实打实的违规,哪怕只有一瞬间。
这正是蚂蚁国际这篇论文想揭穿的一个大问题。现在几乎所有评测AI智能体的榜单,都在问同一个问题:任务最后做成了没有?但真正在金融、支付这类高风险行业里,没人在乎你最后有没有做成,大家在乎的是你每一步有没有按规矩来。这篇论文给这个被忽视的角落起了名字,叫BizBench。
一、为什么"任务完成"是个假命题
先说一个可能让你意外的事实:在支付这类业务里,一个未经授权的转账,就算钱后来被退回来了,依然算违规。
这跟我们平常理解AI智能体评测的逻辑完全相反。你去看现在主流的智能体测试,比如SWE-bench测代码修复、WebArena测网页操作,基本逻辑都是:只看最后结果对不对,中间怎么折腾的不重要,黑猫白猫抓到老鼠就是好猫。
智能体*:能够自主理解任务、调用工具、执行多步操作来完成目标的AI系统,区别于只能单轮问答的传统聊天机器人。
但金融业务不是抓老鼠。银行有一条铁律:操作的合法性取决于它发生那一刻的授权状态、资金状态、政策状态,跟后面怎么收尾没关系。你今天先转账再补批准手续,这个顺序错了就是错了,哪怕最后批准文件补齐了也不行。
这篇论文选的测试场景,来自全球头部的一家支付和金融科技公司的真实业务。研究者把这家公司的跨境支付、外汇、资金托管这些业务流程,抽象成了一个可以运行的虚拟环境,里面塞进了789份知识文档和601个可被发现调用的业务工具。然后他们设计了50个长链条任务,每个任务都要求AI智能体在处理客户请求的同时,老老实实遵守一堆散落在各处、甚至互相冲突的业务规则。
实验结果让人有点意外。目前最强的几个模型里,Claude Opus 5拿到的严格成功率是64.0%,GPT-6 Sol是61.3%。
这意味着什么?
意味着即便是最顶尖的AI,每做10件事,也有3到4件事情在流程上出了岔子。而换成一个参数量小一些的模型,比如Qwen3.8-27B,表面上看它能达成目标的比例有42.0%,但一旦把过程合规性也算进去,严格成功率直接跳水到32.7%。差了将近10个百分点,全是被过程违规吃掉的。
更夸张的是Qwen3.5-9B,这个小模型跑了150次任务,一次都没完整成功过。
二、业务规则的"罗生门":新旧政策同时在场
这篇论文里有一个细节特别有意思,也特别真实,那就是过期政策文档不会自动消失。
你可能觉得这是常识,公司文档库里当然会有旧版本和新版本同时存在。但你有没有想过,这件事对AI智能体来说意味着什么?
意味着AI检索到一份文档,不代表这份文档是对的。它可能是三年前的规定,早就被新规则取代了,但系统里依然躺在那儿,格式工整、措辞权威,看起来跟最新文件一模一样。
这就好比你去图书馆查资料,书架上同时摆着2015年版和2024年版的交通法规,两本书封面长得差不多,内容却有冲突。你如果随手抓一本就引用,很可能用错了年份的罚款标准。如果图书馆员不负责任地把过期的法规直接撤掉倒也省事,但现实中业务文档往往不能一撕了之,因为旧规则可能仍然适用于某些历史遗留案例,比如一份过期的保险条款依然要覆盖它生效期内发生的事故。所以旧文档必须留着,但AI必须自己判断"这份文档现在还管不管用"。
这就是论文里反复强调的一个核心挑战:业务规则不仅分散在各个文档里,还可能互相冲突,原因可能是适用的地区不同、产品不同、生效时间段不同。检索到相关信息远远不够,AI得弄清楚哪条规则才是对当下这个具体业务场景说话的。
论文里举了一个真实的例子。研究者让一个模型去查"税款缴纳 期间匹配 对账"相关的文档,结果排名第一的文档PX-B-77,其实是另一个产品线的"多缴退费"文档,跟手头这个业务完全不沾边;真正该看的文档PX-B-76排到了第五位。模型因为关键词相似就把两份文档都打开读了,但其中一份根本不适用这个业务场景。
这说明一个很朴素但容易被忽视的道理:检索排名靠前,不代表这份文档就该拿来用。关键词匹配得上,不代表业务场景匹配得上。
三、钱不够花的时候,AI要学会算账
论文里设计了一类特别刁钻的任务,叫资源约束和时间依赖。说白了就是:同一笔钱,同一个账户额度,可能同时被两个不同的业务流程盯着,谁先动手谁就占了资源,后面的操作可能因此做不成。
论文给了一个很具体的案例,叫"有限净额担保"场景。客户要求付两笔供应商欠款,总共700美元出头,但银行手续费总预算卡死在75美元以内。手里有一种"保证净额到账"的服务,能让收款方一分不少收到钱,但这个服务一次只能用一次,而且要收费。普通付款渠道则会被中间行扣掉一部分钱,收款方实际到账会变少,还得额外补一笔到账差额的手续费。
如果AI把这个"保证净额"的服务用在了300美元那笔上,把400美元那笔走普通渠道,算下来会发现:之前那笔转账的退汇费20美元,加上保证净额的服务费20美元,加上中间行扣款35美元,再加上补差额的手续费5美元,总共刚好80美元。超了5美元。
两笔钱表面上都如期如数到账了,目标达成了,但预算这条红线被踩过去了。这就是典型的"结果正确,过程违规"。
这跟我们生活里一个很常见的场景很像:你出国旅游,给自己定了一天花费不超过500元的预算。结果你把钱花在了景点门票和打车上,晚上一算账发现超了50块。你买到了想要的体验,门票也是真的进了景点,但预算这条线你自己定的规矩,被自己打破了。如果没有这条预算线的约束,你怎么花都没问题,但一旦有了约束,"结果好"就不能掩盖"过程超支"的事实。
这类任务测试的,正是AI能不能在复杂的资源分配里精打细算,而不是逮住一个能用的方案就莽撞执行。
四、等信息,还是不等信息,这是个要命的选择
论文里还提了一类特别现实的难题,叫延迟信息与时间敏感决策。
想象一个场景:仓库还没确认库存状态,但优先配送窗口在仓库确认结果出来之前就要关闭了。你如果老老实实等仓库回复,等到的时候配送窗口已经关了,只能走普通配送,但普通配送的时效满足不了那个最紧急的订单要求。
论文里的具体案例是这样的:商家要重新核对一笔已经付过款的订单,还要在限定时间内发货三件商品。其中一件要求两分钟内评分达到15分以上的快递渠道,另外两件要求五分钟内评分10分以上的渠道都行。优先配送服务一分钟就能搞定,但必须在时刻0就预订,过时不候。普通配送要三分钟。
如果AI先去修正订单记录、处理退款差额,折腾了一分钟之后才去查仓库库存结果,优先配送的预订窗口已经关闭了。等库存结果出来,确实能找到满足条件的库存,但那第一件要求两分钟内到位的商品,已经没有办法通过剩下的配送方式按时交付了。
这就跟你赶高铁一样,高铁检票口关闭前五分钟你还在排队买早餐,觉得"再等一会儿没关系",结果早餐买到手,高铁却开走了。核对信息的动作本身没有错,排队买早餐这件事也没错,但在有截止时间的场景里,"先做什么,后做什么"这个顺序本身就是任务的一部分,等待也是会付出代价的。
这也是为什么论文反复强调,BizBench特意设计了"信息什么时候才能被观察到"和"某个操作的窗口什么时候关闭"这两条独立的时间线,逼着AI在等待和行动之间做权衡,而不是无脑地把所有信息都收集齐了再动手。
五、怎么判断AI到底有没有"老实做事"
说了这么多违规的坑,那论文到底怎么量化地检测出AI有没有踩坑?
研究者设计了一套三合一的检查标准。用公式写出来是这样的:一个任务的成功,等于目标达成、加上过程合规、再加上保护条件全部满足,三者缺一不可。
目标达成*:检查AI最终有没有把客户要求的事情办成,比如钱有没有真的到账、有没有收到正式的结算凭证。
过程合规*:检查AI在执行过程中有没有遵守该遵守的规矩,比如该拿到批准才能动手的事情,有没有真的先拿到批准。
保护条件*:检查有没有伤及那些本不该被动的东西,比如客户没授权的账户,有没有被莫名其妙地动用。
这三个检查全部基于确定性的程序化规则来判断,不靠AI当裁判去打分,这一点很关键,因为如果让另一个大模型来当裁判,裁判自己也可能犯同样的错误,等于拿不靠谱的尺子去量不靠谱的东西。
论文里还专门强调了一点,这个检查系统不要求AI必须按照某一条固定路径走,只要最终满足这三条标准,不管中间走了哪条路都算过关。这个设计思路挺聪明的,因为现实世界里解决同一个业务问题,往往有好几种合法的办法,如果死抠一个标准答案,反而会冤枉那些走了另一条合规路线的AI。
研究团队为了验证这套检查系统本身是不是靠谱,还专门做了一轮"故意使坏"的测试:让人工构造出一些明知道会违规的执行轨迹,看检查系统是不是真的能把它们揪出来,同时也测试一些走了不同合法路径的执行轨迹,确认系统不会误伤。这个思路跟测试一个新造的测谎仪一样,你不能光拿诚实的人去测它准不准,还得拿明知道在撒谎的人去测它灵不灵。
六、长链条任务里,AI到底在瞎忙什么
论文还有一组数据特别值得拎出来说。研究者统计了AI完成任务时实际调用工具的次数,拿去跟一份人工验证过的参考执行轨迹对比。
参考轨迹平均需要调用111.8次工具。DeepSeek-V4.1-Flash实际跑一次任务平均要调用191.3次,差不多是参考数值的1.7倍。
这多出来的八十次调用都花在哪了?
答案是信息查询。数据库查询这一项,参考轨迹平均59.2次,DeepSeek-V4.1-Flash用了111.1次;文档检索和阅读这一项,参考轨迹只需要11.5次,它用了43.3次。真正执行业务操作的次数反而差不多。
说白了,AI不是在偷懒摸鱼,它是在反复确认、反复查阅,甚至很多时候是在原地打转。论文给出了一个更扎心的数字:同样的数据库查询,参数、查询条件、返回结果完全一模一样,这种纯粹的重复查询,DeepSeek-V4.1-Flash平均每次任务要出现16.4次。换成表现更差的DeepSeek-V4-Flash,这个数字飙升到23.7次。
这就好像你让一个新员工去查一份客户资料,他查完之后过了十分钟,又去查了一遍一模一样的资料,内容没变,他却像是忘记自己查过一样再查一次。偶尔的二次确认是谨慎,但如果一次任务里反复出现十几次完全重复的查询,那说明他压根没有建立起一个"我已经知道了什么"的记忆框架,每一步都在从零开始摸索。
更极端的例子是Qwen3.5-9B,这个小模型平均每次任务要调用187.2次工具,但其中101.6次都是报错返回,占了一半以上,大部分错误原因是试图访问它本来没有权限访问的资源。这就像一个新员工不停地想推开贴着"内部员工专用"标签的门,推一次被挡回来一次,还继续推。
论文还做了一个很有说服力的"卡预算"实验。研究者把每个任务允许调用工具的次数,人为限制在参考轨迹次数的1.2倍、1.5倍、2倍这几个档位上,看看DeepSeek-V4.1-Flash的表现会怎么变。结果是:不设限制时严格成功率43.3%,限制到2倍时掉到26.7%,限制到1.5倍时只剩6.7%,限制到1.2倍时几乎归零,只有0.7%。
这组数据的意思是,就算给AI两倍于参考答案的操作余地,依然会把一大批本来能做成的任务做砸。这不是因为任务太难做不到,而是因为AI在信息搜索和反复核查上耗费了太多本不必要的步骤,把本该留给关键操作的预算提前花光了。
七、客服机器人到底靠不靠谱,还得看换人测不测得出来
最后值得一提的是论文做的一个稳健性检验。整个BizBench系统里,扮演"客户"这个角色的,也是一个AI,叫用户模拟器。
用户模拟器*:在测试里扮演真实客户的AI程序,负责提供客户相关信息、回答AI智能体的提问、对需要客户确认的操作进行批准。
研究者担心的是,如果这个扮演客户的AI自己行为不规范,比如一次性把好几个批准都给了,或者该等AI汇报结果却自己抢着去操作,那整个测试的公平性就会被破坏。他们专门设计了两版提示词去测试这件事,原始版本在50个任务里出现了4次违反对话规则的情况,改进版本把触发这些混乱行为的提示词写得更明确之后,违规次数降到了零。
这说明一个容易被忽视的问题:测试AI智能体的时候,扮演对手或客户的那个AI,本身也可能是不靠谱的那个环节。你不能只盯着被测试的那个AI,陪练本身的训练质量同样决定了整场比赛的公正性。
研究团队还换了四种不同的模型来扮演这个用户模拟器,结果发现被测试的AI的严格成功率只在30.7%到36.0%之间波动,差距不到6个百分点。这说明测试结果不是靠某一个特定的"客户AI"凑出来的巧合,换个客户来演,结果基本还是那个结果。
写在后面
读这篇论文的过程里,最让我印象深刻的不是哪个模型分数高分数低,而是那个60美元账户、瞬间清零又被补回来的例子。这个案例干净利落地揭示了一个很容易被忽略的事实:时间是有方向的,业务规则在乎的是"那一刻"发生了什么,而不是"最终"变成了什么。
很多AI评测体系,包括我们日常理解AI能力的方式,都隐含着一个假设:只要终点对了,过程可以是黑箱。这篇论文把这个假设摆到了金融业务的放大镜下,结果发现这个假设在这里完全站不住脚。一个未经批准就执行的操作,哪怕最后被驳回了,这个"曾经尝试越权"的动作本身就已经构成了风险。
另一个让我反复琢磨的细节是,所有模型里,过程合规这一项的得分,普遍都比保护条件这一项的得分低。也就是说,相比"别伤害到不该动的东西",AI更容易在"按正确顺序做事"这件事上栽跟头。这或许暗示了一个有意思的方向:当前的大模型可能更擅长识别"这个东西不能碰",却更难把握"这件事必须先后两步走,顺序不能乱"这种带有时间维度的流程纪律。
论文里还有一个没有被充分展开的问题,就是如果把这套评测体系搬到医疗、法律这些同样强调"过程正确性大于结果正确性"的领域,会不会发现类似的、甚至更严重的过程违规比例?支付行业已经算是规则相对清晰、文档相对完备的领域了,如果连这里都有六成以上的严格失败率,那些规则更模糊、更依赖经验判断的领域,又会是什么样子?
Q&A
Q1:BizBench是什么?
A:BizBench是蚂蚁国际推出的一个长链条智能体测试基准,基于一家全球支付公司的真实业务流程构建,包含50个任务、789份知识文档和601个业务工具,专门用来检验AI智能体在完成任务的同时能不能遵守中间执行过程中的各种业务规则。
Q2:为什么任务最后完成了,还会被判定为失败?
A:因为支付等高风险业务要求操作在发生那一刻就必须合规,比如未经批准执行转账、账户余额曾跌破最低备付金线,这些中间环节的违规哪怕后续被补救也算失败,这正是BizBench重点检测的地方。
Q3:目前表现最好的AI模型在BizBench上成绩如何?
A:表现最好的Claude Opus 5严格成功率是64.0%,GPT-6 Sol是61.3%,意味着即便顶尖模型,每做10件任务也会有3到4件在流程合规上出问题,小模型如Qwen3.5-9B则一次都没完整成功过。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。