当骗子学会了用emoji说黑话，AI能不能揪出真相？

你有没有收到过这样一条消息：一堆看起来毫无意义的表情符号，夹杂着几个奇怪的字，末尾跟着一个像是打错字的网址？

如果你觉得这是垃圾信息随手划走了，那你可能低估了这背后的门道。这些消息其实是精心设计的，发送者故意把违规内容拆解成表情包、同音字、拆字游戏，让审核系统看不懂，却能让真正想看懂的人心领神会，然后顺着一个伪装过的链接，走向一个和色情、诈骗、赌博或者其他灰色交易相关的网站。

这篇来自百度、京东科技、中国人民公安大学等机构联合团队的论文，就是想搞清楚一件事：现在的AI大模型，到底能不能先破译这些"黑话"，再顺藤摸瓜去调查那个可疑网站，最后给出一份靠谱的风险报告？

问题出在哪：两件事从来没被放在一起测过

在这篇论文之前，学术界其实已经分别研究过两个方向的问题。

一部分研究专门盯着"文字怎么被伪装的"，比如用同音字替换敏感词、用emoji打乱语序、用拆字法把一个汉字拆成几个部件。像TNT、Hatemoji、ToxiCloakCN这些基准测试，都在琢磨AI能不能把这些乱码一样的东西还原成正常语句。

另一部分研究则专注于"网页调查"，比如WebArena让AI在模拟网站里点来点去、完成任务，看它会不会误触恶意链接、能不能安全地完成浏览任务。

问题是，这两条研究线几乎从来没交叉过。

这就好比警察破案，一组人专门负责破译犯罪分子的暗语纸条，另一组人专门负责去嫌疑地址踩点取证，可是这两组人从来不互通消息，也没人验证过：如果暗语破译错了一个字，会不会导致整个踩点小组跑错了地址，白忙一场？

论文作者管这个被忽略的环节叫"跨渠道平台风险调查"。他们发现，如果只单独测量"文字复原准确率"和"网页调查准确率"，你根本看不出来复原阶段一个小小的失误，会不会像多米诺骨牌一样，让后面整个调查链条全部崩掉。这正是RiskChainBench想要补上的空白。

核心设计：先让AI"破译暗号"，再让它"独立探案"，最后用一道门槛把两件事串起来

搞清楚了问题，接下来就是怎么设计一个靠谱的测试。

研究团队构建了600个网站场景，每个场景对应一段人工合成的"暗语消息"。注意，这里所有消息都是虚构合成的，不是从真实社交平台上扒下来的，这样既保证了安全，也避免了牵扯真实隐私。

每段消息会衍生出6种不同的伪装变体，包括同音替换、图形近似字替换、entry混淆（也就是把网址关键部分打乱）、词汇和平台符号混合污染，还有专门针对排版做手脚的几行式和竖排版本。总共3600条文字复原测试样本，配上600个人工打好标签的本地网页环境。

流程分成两个任务。

任务一（Task 1）是纯文字层面的复原。AI只能看到那段乱七八糟的伪装消息，看不到任何网页信息，它需要输出三样东西：还原后的干净消息、发消息人想干什么（也就是"操作意图"）、以及最可能的目标入口（entry）排序列表。

任务二（Task 2）是网页调查。这时候AI摇身一变，成了一个"网页侦探"（论文里叫VLM驱动的web agent，也就是基于视觉语言模型的网页智能体），它被放进一个正确对应的本地网站环境里，独立浏览、点击、截图、收集证据，最后写出一份带证据引用的风险判断报告。

关键的巧妙之处在于，这两个任务是完全隔离的。

网页调查阶段的AI，看不到原始消息，也看不到它自己在任务一里复原出的结果，它只能靠自己在网页上观察到的东西做判断。这样设计是为了避免AI"作弊"，也就是不能靠消息里的暗示或者域名本身看起来像不像正规网站来蒙对答案，它必须真凭实据。

>VLM：视觉语言模型（Vision-Language Model），既能"看"图像又能"读"文字的AI模型，这里被用作能自主操作网页的智能体。

两个任务分别打分之后，论文用一个叫"入口门控"（entry gate）的机制把它们离线拼起来：如果任务一里AI破译出的首选入口，确实指向了正确的那个网站，这次网页调查的结果才算数，被记为端到端成功；如果入口破译错了，不管网页调查阶段做得多漂亮，这次尝试就直接判为失败，记为⊥（失败符号）。

这个设计其实很像快递员送货。你把包裹（暗语消息）先交给一个"地址翻译员"，翻译员写出收货地址，如果地址写错了，哪怕后面的快递员业务再熟练、态度再好、送货路线再优化，包裹也送不到该去的地方，这一单照样算失败。而且论文特别强调，翻译员写错地址后，系统不会自动纠错，也绝不会把包裹错送到benchmark里的另一个"看起来差不多"的网站去凑数，错了就是错了，诚实记录。

如果不这样设计会怎样？

如果任务一和任务二各自独立打分、互不影响，那你会得到两组看似都不错的分数，比如复原准确率90%，网页判断准确率60%，两个数字单独看都挺好，可你完全不知道这两件事合在一起，真实的端到端成功率到底是多少。论文里给出的答案很扎心：把两个阶段串起来之后，端到端准确率范围一下子从"网页阶段单独看"的26.3%到62.8%，收缩变成了16.7%到60.8%，有些模型的损失高达32.3个百分点。

消息是怎么造出来的：一场精心设计的"文字迷宫"

光说复原任务重要还不够，得讲讲这些伪装消息到底是怎么被制造出来的，这个过程本身就很有意思。

研究团队没有直接从网上扒取真实的违规消息，而是完全合成生成了600条源会话。每条源会话里都藏着一个"保留域名"式的正确入口，然后通过六种不同的处理手法，衍生出六个变体版本。这六种手法分别针对不同的干扰强度：有的着重测试综合复原能力，有的专攻同音字替换，有的专门混淆入口地址本身，有的把词汇和平台专属符号搅在一起，还有两种专门测试排版花招，比如把信息拆成几行躲避整体识别，或者故意竖着排版让文字识别系统读不出规律。

>token-text obfuscation：字符层面的伪装手法，包括同音替换、字形近似替换、字符拆分、emoji噪声插入等，目的是让机器审核系统难以识别敏感内容，但人眼仍能读懂。

这里有个细节值得一提。emoji素材来自EmojiAll这个公开的表情符号目录网站，一共提取了80个文字代码，外加研究者自己补充的12个Bilibili专属表情代码，而且论文特别声明没有重新分发任何图片本身，只用了文字层面的编码信息。同音字候选和汉字映射表也全是团队自己整理、并用pypinyin这个拼音校验工具反复核对过的，没有引进任何第三方词库，这算是从版权和数据溯源角度做的一层谨慎处理。

>CER（Character Error Rate）：字符错误率，衡量AI复原出的文字和标准答案之间，平均每个字符的编辑距离有多大，数值越低说明复原越精准。

为了保证这套测试题目本身没有质量问题，研究团队还专门做了自动化审核，检查有没有格式错乱的条目、对齐错位的情况、无法逆向还原的转换，以及重复条目。所有的目标网址都用了".test"这种保留测试域名后缀，不含真实的网址协议、路径、真实域名、账户信息，也不连接任何外部服务，从根本上杜绝了测试过程中意外访问真实恶意网站的风险。

这套设计像不像给新手司机设计的驾校考场？

真实马路太危险，不能拿新手直接练手，但驾校的考场又必须尽量模拟真实路况的复杂度，红绿灯、斑马线、突然变道的车都得有，只是换成了不会真的撞死人的场景。如果考场设计得太简单，学员在真实马路上照样会翻车；但如果直接把学员扔到真实车流里练习，风险又太大。RiskChainBench想做的，就是这样一个既足够贴近真实伪装手法、又完全隔离于真实风险的"驾校考场"。

网页环境：拆掉真实服务器，留下真实的"案发现场"

如果说任务一是纸面考试，任务二就是实操考试，而实操考试最难的部分在于怎么造一个既真实又安全的"案发现场"。

研究团队从2500个真实存在过的网站里，用一套确定性的混合整数规划算法（说白了就是一种严格按配额分配的数学优化方法），精心挑选出了600个用于测试的场景。挑选过程中严格控制了不同展现形式、话题类型、语言种类的比例，同时兼顾交互深度、技术实现难度、来源渠道分布，还限制了同一个"网站家族"（也就是模板高度相似的关联站点）最多只能有8个进入测试集，最终形成了覆盖339个网站家族的多样化样本，其中595个网站支持"点击回放"，333个支持更复杂的"状态化回放"（也就是能记录用户操作后网页状态的变化，比如登录、跳转之类）。

每个网页环境都是从真实网页离线构建的本地镜像，跑在完全隔离的网络里，尽量保留原网站的页面结构、内容排布、跳转逻辑和交互反馈，但去掉了对真实在线服务的依赖。换句话说，AI侦探探案的那个"犯罪现场"，是按照真实案发现场1:1复刻的布景，但布景里没有任何能连到外部世界的电线。

>allowlisted actions：白名单动作，指AI智能体在测试环境里只能执行预先设定、经过安全审核的操作类型，比如点击、滚动、截图，而不能任意执行未经授权的高风险操作。

网站的最终风险判定，是靠四位经过训练的标注员，按照统一的编码手册人工打出来的。每个网站会拿到两份独立判断，一旦出现分歧，或者有人给出"证据不足"这种模糊判断，就会触发盲审，必要时再由协调员做最终裁决。整个标注过程的一致性数据也挺讲究：第一轮判断的一致率是82.50%，联合标签一致率80.17%，用统计学上常用的Krippendorff's α系数衡量，分别是0.6553和0.7425，属于中等偏上的可靠水平。而且团队还专门做了"隐藏重复"测试，也就是悄悄把一部分网站重复放进标注流程，结果这些隐藏重复样本的判断一致率高达97.9%，标签+类型联合一致率95.8%，说明标注员们的判断标准确实是稳定可靠的，不是碰运气蒙对的。

最终确定下来的标准答案库里，394个网站被判定为违规，181个判定为不违规，25个判定为证据不足。

AI裁判上场：一个只看"证据链"、不看"标准答案"的多模态法官

这里出现了一个挺巧妙的设计，就是"证据判断"和"任务判断"是彻底分开的两套评价体系。

网站到底是不是违规，用的是人工标注的黄金标准答案，这个没什么好说的，属于硬性对错判断。但除此之外，论文还引入了一个固定的多模态证据法官（论文里叫Jφ），它的工作不是判断AI说得对不对，而是判断AI给出的结论，是不是真的有充分的、来自浏览过程的证据支撑。

这个法官会收到一份"消过毒"的调查资料包，里面包括AI在网页上做过的所有操作记录、观察到的页面截图、被引用当作证据的内容片段、AI最终写的结论和理由。它打分打四个维度：证据是不是忠实（没有编造）、证据是不是充分、调查过程是不是完整、推理逻辑是不是前后一致。

重要的是，这个法官完全不知道网站的真实标签是什么，也不知道是哪个模型在做这次调查，更看不到任何域名或者品牌声誉信息，它纯粹是在评估AI"说的话"和AI"看到的东西"之间对不对得上。

这就像法庭上专门负责审查证据链完整性的角色，他不判定被告到底有没有罪（那是陪审团的活），他只负责挑刺：你说你看到了这个证据，但你的调查记录里真的有这一步吗？你引用的截图内容和你写的结论是不是自相矛盾？

如果没有这样一个独立的证据审查角色，会出现什么问题？AI完全可能靠"蒙"蒙对了最终结论，比如瞎猜这个网站违规，恰好猜中了，但整个调查过程其实敷衍了事，没做任何有意义的浏览动作。有了证据法官，这种"蒙对了但过程稀烂"的情况就能被单独识别出来，虽然论文里也坦诚地说，证据打分是"覆盖条件下的诊断"，不构成模型的整体排名依据，它只是一个补充视角。

十个大模型同台竞技：谁在复原文字上赢了，谁又在探案上赢了

理论讲完了，该看真刀真枪的比拼结果了。

论文测试了十个当前主流的大模型，包括GPT-5.4、GPT-5.6 SOL、GPT-5.2、Claude Opus 4.8、Claude Sonnet 5、Kimi K3、Kimi K2.5、Kimi K2.6、Qwen3.6 Plus、Doubao Seed 2.0。

先看任务一，也就是纯文字复原的战绩。衡量的核心指标叫Entry Top-1（入口首选命中率），意思是AI给出的排名第一的目标入口，是不是真的准确指向了正确网站。

结果差异相当大：GPT-5.4以95.22%的Entry Top-1拿下第一名，紧随其后的GPT-5.6 SOL是94.31%，Claude Opus 4.8是92.94%。但另一端，Kimi K2.6只有35.19%，Qwen3.6 Plus是39.06%，Kimi K2.5是39.86%，最高分和最低分之间足足差了60个百分点。

有意思的是，"字符复原精度高"不等于"入口找得准"。Kimi K3的字符错误率（CER）低至1.59%，几乎是全场最低（意味着它逐字复原的能力很强），但它的Entry Top-1只有84.58%，排在第四位。这说明一个模型可能很擅长把乱码还原成通顺的句子，却未必擅长从中精准提取出那个关键的目标地址，这是两种不同的能力，不能混为一谈。而GPT-5.6 SOL则在"完整复原"（同时答对消息、意图、入口三项）这个更严格的指标上拿到了73.31%的第一名，说明它虽然入口识别略逊于GPT-5.4，但整体理解和还原的综合能力最强。

再看任务二，也就是网页侦探环节，核心指标是三分类判断准确率（违规/不违规/证据不足）。

GPT-5.6 SOL在这一轮同样表现最好，达到62.8%的准确率，决策类别的宏观F1值是59.3%，层级完全匹配率（也就是既答对决策又答对细分违规类型）达到61.0%，全部拿下第一。GPT-5.2紧随其后是57.3%，Kimi K2.5是55.2%。而在细分违规类型判断上（Type F1），Kimi K2.5反倒逆袭拿到了全场最高的48.1%，超过了在总体准确率上领先的GPT-5.6 SOL（42.8%），说明它在辨别"具体是哪一类违规"这件精细活上更有一套。

表现最差的两个是Doubao Seed 2.0（29.5%）和Claude Sonnet 5（26.3%），差不多只有排名最高模型的一半水平。

把两个阶段拼起来：那道"入口门槛"到底刷掉了多少分

单看每个阶段的分数还不够，真正扎心的地方在于把两个阶段串联起来之后会发生什么。

论文里有一张对比表，列出了每个模型"纯网页调查视角"（web-only，假设入口一定正确）和"端到端门控视角"（entry-gated，必须先过入口关）之间的分数差距。

差距最小的是Claude Opus 4.8，只损失了0.7个百分点，从49.8%微降到49.2%，说明它入口复原和网页调查这两项能力都比较均衡，没有明显的短板拖后腿。GPT-5.6 SOL的损失也不大，只有2.0个百分点，从62.8%降到60.8%，依然稳坐端到端排行榜的第一名。

但另一批模型的情况就完全不同了。Qwen3.6 Plus在纯网页调查阶段能拿到51.7%的不错成绩，可一旦套上入口门控，直接暴跌到19.3%，损失了32.3个百分点，几乎腰斩再腰斩。Kimi K2.5同样如此，纯网页调查55.2%的成绩相当亮眼，接入端到端之后却只剩25.7%，损失29.5个百分点。Kimi K2.6也损失了24.8个百分点。

这说明这几个模型有一个共同的短板：它们的网页调查能力其实不弱，甚至相当能打，但它们在最开始的"破译暗语、找到正确入口"这一步就已经栽了跟头，后面调查得再仔细都是白费功夫。

这就好比一个侦探破案能力极强，审讯逼供、勘查现场样样精通，可惜他一开始就走错了案发地址，跑到隔壁小区去侦查了。任务完成质量再高，也因为地址一开始就错了而全盘作废。如果不设置这道入口门控，我们只会看到"这几个模型网页调查能力不错"的表面结论，完全意识不到它们真正的短板出在最前端的文字破译环节。这正是这篇论文最核心的洞察，也是它区别于以往单独测试文字或单独测试网页的地方。

失败到底出在哪一步：探索能力比判断能力更关键

论文还做了一项细致的失败归因分析，把每次网页调查任务的失败原因拆分成四个阶段：执行失败、报告缺失、决策错误、类型判断错误。如果一个AI既答对了决策又答对了类型，就算是"层级完全成功"。

汇总600次运行的结果之后，一个很扎眼的数字浮现出来：执行失败占了整体失败的31.9%，是所有失败类型里最大的一块。相比之下，决策正确但类型判断错误的情况，只占0.9%。

换句话说，AI侦探最大的短板根本不是"看到了证据却判断错了违规类型"这种精细活出问题，而是它压根没能顺利完成浏览探索，比如卡在某个页面动不了、触发了系统异常、超出了操作预算，或者压根没能生成一份有效的报告。

具体到各个模型，差异也很明显。Doubao Seed 2.0的执行失败率高达57.7%，是所有模型里最高的，说明它经常在浏览过程中就卡壳了。Claude Opus 4.8的报告缺失率异常突出，达到36.7%，意味着它有超过三分之一的调查任务，浏览过程本身没什么大问题，但最后就是没能产出一份合格的报告。GPT-5.6 SOL和GPT-5.2的执行失败率都控制在20%左右，是表现相对稳健的两个。

这个发现指出了一个挺重要的方向：与其继续死磕"怎么让AI的违规类型判断更精准"，不如先解决"怎么让AI能稳稳当当把浏览这件事从头做到尾"。就像修一座桥，桥墩没打稳之前，纠结桥面铺什么材质的瓷砖其实没有太大意义。

写在后面

读完这篇论文，我印象最深的其实不是那些具体的分数，而是它揭示的一个更普遍的问题：我们评价AI能力的时候，太容易只看单点表现，而忽略了不同能力串联起来之后的真实效果。

这让我想起一个不完全相关但内核很像的场景，公司招人的时候，面试官分别考察候选人的专业技能和沟通能力，两项都过关就录用了，可入职之后才发现，这个人专业能力强、沟通能力也不错，但他没法把两者结合起来，向团队清楚地传达自己发现的问题，结果专业判断再准确，也传不到需要的人手里。单项测试满分，组合起来却处处卡壳，这种"接口损耗"往往比单项能力不足更隐蔽，也更难被发现。

论文里有个细节我觉得值得单独说一下：Kimi K3在字符复原精度（CER）上是最强的，几乎逐字都能还原准确，但它在"找到正确入口"这件更实用的事情上排名只是中等。这提醒我们，衡量语言模型能力的时候，"文字读得准"和"关键信息提取得对"完全是两回事，一个模型可能是个很好的文字校对员，却未必是个可靠的信息提取员。这个区分我以前没太认真想过。

论文最后也坦诚地说了自己的局限：每个模型对每个网站只跑了一次调查，没有测过重复运行的方差，一部分违规类型样本量偏少，证据法官的可靠性也还没有经过大规模人工审核的验证。这些都是留白，但也正是这种留白让这个方向显得还有很多可以做的事。

如果AI侦探连"稳稳当当走完浏览流程"这件事都还没做到位，那我们该更担心它会误判一个正常网站，还是更担心它会放过一个真正的风险网站？这两种错误的代价，恐怕并不对等。

Q&A

Q1：RiskChainBench是什么？

A：RiskChainBench是一个用来测试AI能否先破译网络黑话消息、再去调查对应可疑网站并给出证据支撑风险报告的基准测试，包含3600条文字复原样本和600个人工标注的本地网页环境。

Q2：为什么要把文字复原和网页调查两个任务分开测又要合起来算？

A：因为如果AI一开始就把暗语破译错了、找错了目标网站，后面网页调查做得再仔细也没有意义。论文用"入口门控"机制把两阶段串联，发现有些模型单独测网页调查能拿五十多分，一旦串联进复原错误就暴跌到十几分，损失超过30个百分点。

Q3：测试中哪个AI模型表现最好？

A：GPT-5.6 SOL在网页调查准确率（62.8%）和端到端组合准确率（60.8%）上都排名第一，GPT-5.4则在纯文字入口识别上以95.22%的成绩领先，不同模型在不同环节各有优劣。