上交大、上海AI实验室、清华大学联合出击：当AI学会像老练的事实核查员一样，辨别网络上的"半真半假"

这项由上海交通大学、上海人工智能实验室、清华大学、中南大学及中国电子科技集团公司第十五研究所联合开展的研究，于2026年6月23日以预印本形式发布，论文编号为arXiv:2606.24112，有兴趣深入了解的读者可通过该编号查询完整论文。

网络上每天流传着数以百万计的帖子，其中夹杂着精心包装的假新闻、断章取义的图片，以及真真假假混合在一起的"半真消息"。这些内容的危险性，恰恰在于它们不是一眼就能识破的谎言，而是像一碗掺了砒霜的好汤——大部分是真的，但那一点点假的，足以让你中毒。研究团队把这个问题形象化地定义为：现实世界中的多模态虚假信息检测。所谓"多模态"，指的是一条网络帖子往往同时包含文字、图片、截图，甚至还有AI生成或PS过的视觉内容，而不是单纯的文字谣言或单张配图。

面对这个挑战，现有的技术工具就像是一个只会做选择题的学生——被训练成判断"真"或"假"两个选项，却对现实中那些"大部分是真的，但有几处关键细节被扭曲"的复杂情况束手无策。更棘手的是，这些工具通常只能处理短文本配一张图的简单组合，碰到一篇夹杂着多种语言、附有十张来源各异图片的长篇帖子，就完全抓瞎了。

正是为了填补这个巨大的空白，研究团队推出了ReMMD这套完整的解决方案。ReMMD由两部分组成：一个叫做ReMMDBench的测试集，用来公平地考核各种AI系统在现实条件下的辨别能力；另一个叫做ReMMD-Agent的智能核查系统，像一位经验丰富的事实核查记者那样，有条不紊地拆解、查证、判断每一条帖子。

一、当现有"考卷"都太简单：ReMMDBench是如何重新定义难度的

要理解ReMMDBench的价值，先得明白之前的测试标准为什么不够用。以往用于评测AI辨别假新闻能力的标准，大多像是高考的单选题：给你一段短文加一张图，让你选"真"或"假"。现实世界的网络谣言却截然不同，它更像是一套综合考试，卷子上有大量文字、多张图片、多种语言，而且答案不是非黑即白，而是"基本属实""部分失实""严重失实"这样的灰色地带。

ReMMDBench正是按照这套更贴近现实的标准构建的。整个数据集包含500个样本，共计2756张图片，平均每个样本有5.51张图片，其中只有1个样本仅含单张图片，而有168个样本含有整整十或十一张图片。这种"图片密集"的设计，是为了模仿社交媒体上那种"走马灯式"的证据展示方式——有些图片是核心证据，有些只是装饰，AI必须能分辨哪张图真正支撑着帖子的核心主张。

在语言覆盖上，ReMMDBench包含了英语、中文、德语、日语、法语五种语言的单语样本，合计423条，另有77条跨语言迁移测试样本，用于考察AI能否把在一种语言上学到的辨别能力迁移到另一种语言。五种语言的分布相当均衡，英语111条、中文112条、德语67条、日语68条、法语65条。

文本长度方面，数据集被划分为短、中、长三个层次，分别对应173、159、168条样本，三者接近均衡。短帖的平均长度约为168个字符，长帖的平均长度则高达2316个字符，平均图片数量也从短帖的2.35张增加到长帖的10.05张。短帖测试AI是否会"过度解读"简短内容，长帖则测试AI能否在一大堆实体名称、日期、引用语和图片序列中追踪关键信息。

在标签体系方面，ReMMDBench采用了一套三层标注结构，这是它与过去所有测试集最根本的区别所在。第一层（L1）是"真实性判决"，分为五个等级：完全属实、大部分属实、真假混合、大部分失实、完全失实。这五个等级按严重程度排列，核心逻辑在于区分一个错误是改变了帖子的核心结论，还是仅仅是一个无关紧要的小细节。五个类别的样本数量接近均衡，分别为100、99、100、102、99条，这使得AI不能靠"猜最多的那个类别"来蒙混过关。

第二层（L2）是"失真类型"标注，共有八个类别，分别归属于文本失真、视觉失真和跨模态失真三大家族。文本失真涵盖捏造信息、对真实事实的扭曲，以及误导性背景；视觉失真涵盖AI生成的合成内容和图片编辑；跨模态失真涵盖语义不一致、情境不一致和语用不一致。这八个标签是多标签制，因为一条帖子完全可能同时在文字上捏造信息、在图片上进行PS，并且把真实图片配到了错误的事件上。值得特别说明的是，团队刻意区分了"图片来源"和"图片证明力"——一张AI生成的图片本身并不能让一条帖子变成假的，而一张真实照片完全可以被用在错误的语境里制造误导。

第三层（L3）是自然语言形式的"判决理由"，解释为什么给出这个判决、哪个具体的文字或图片细节导致了这个结论。随着L1判决严重程度上升，L2标签的平均数量也从"完全属实"时的0个稳步增加到"完全失实"时的4.41个，这一规律表明：越严重的虚假信息，往往同时动用了越多种类的失真手段，而不是依靠单一的伎俩。

在话题分布上，ReMMDBench覆盖了娱乐体育（107条，21.4%）、国际冲突（85条，17%）、公共安全与灾害（70条，14%）、科技与AI（66条，13.2%）、政治与公共事务（58条，11.6%）、社会与文化（49条，9.8%）、金融市场（35条，7%）、健康与医疗（22条，4.4%）以及其他（8条，1.6%）。这种多领域覆盖的设计，是为了防止AI只记住某个特定领域的谣言模板，而需要展现真正的通用核查能力。

在图片来源方面，2756张图片中有1353张（49.1%）来自对真实图片的直接复用，576张（20.9%）是从网络下载的证据图片，418张（15.2%）是AI生成的合成图片，409张（14.8%）是经过编辑修改的图片。整个数据集中，有384个样本包含至少一张"AI触碰过"的图片，其中237个含AI生成图片，246个含AI编辑图片。

在质量控制方面，团队实施了三阶段审核。每个候选样本必须包含一个可查证的核心主张、至少一张相关图片，以及有证据支撑的黄金标签。审核人员会剔除那些依赖私人背景知识、讽刺内容或价值观争论的案例，并逐一核查每个L2标签是否对应了具体的文字、视觉或跨模态错位。最终还会对标注理由与标签进行对齐校验，并确认图片来源认定不与真实性判决相混淆。

二、像老侦探一样破案：ReMMD-Agent的三步核查流程

有了一套够难的考卷，接下来就需要一个够聪明的解题系统。研究团队设计ReMMD-Agent的核心理念，可以用一位老练侦探的工作方式来理解：他不会拿到案件材料就直接下判断，而是先把所有信息拆解成独立的"待查事实"，然后逐一去档案室（数据库）和街头（网络）核实，把查到的线索统一记录在一本"侦查日志"里，最后综合所有线索做出裁决。

具体来说，ReMMD-Agent拿到一条帖子（包含文字内容和一组图片）之后，需要输出三样东西：五分类的真实性判决（L1）、八维度的失真诊断（L2），以及简明扼要的判决理由（L3）。

第一步叫做"原子化表征"，本质上是把一篇帖子拆解成若干个最小的"可核查单元"。这些单元涵盖四种类型：对图片内容的观察（这张图片里出现了什么场景、哪些文字、哪些人物）、文字与图片之间的绑定关系（帖子用这张图来证明哪个具体的事件、地点、时间或结论）、句子级别的事实主张，以及叙事级别的结论性陈述。每个可核查单元都附带一个检索查询，用于后续去网络上查证。近似重复的单元会被合并，每个样本最多保留十二个单元，以避免冗余检索，同时保留判断所需的核心信息。

这一步的意义在于：它把长篇叙述中的背景铺垫、重复断言和弱相关细节统统过滤掉，让后续的检索和判断聚焦在真正能影响核查结论的那些关键点上。用侦探的比喻来说，这一步相当于把一份厚厚的案件材料整理成一张条理清晰的"待查事实清单"。

第二步叫做"记忆增强检索"，是整个系统最具创新性的设计之一。系统会针对每一个可核查单元，调用网络搜索、图片搜索和社交媒体搜索三类工具，把查到的信息存入一个"样本级记忆库"。这个记忆库里的每条记录都包含信息类型、来源描述、可选的时间戳、可靠性备注，以及它与哪些可核查单元相关的链接。

这个记忆库贯穿所有可核查单元的处理过程，持续存在而不是一次性丢弃。这意味着，在核查一个文字主张时检索到的新闻报道，之后可以直接用于核实与之相关的图片绑定关系；针对某个时间错误的查证，可以同时解决另一个地点错误的问题。记忆库相当于侦探的"侦查日志"，高价值线索可以被反复调用，避免了对同样信息的重复检索，这也是ReMMD-Agent能够比竞争对手更省钱的关键原因之一。

第三步叫做"结构化证据判断"，是最终做出裁决的环节。判断者接收到帖子原文、所有图片、原子化可核查单元，以及充满证据条目的记忆库，还有辅助的文字分析和视觉分析结果。首先，每个可核查单元被标注上一个状态：有证据支持、被证据反驳，或者无法核实。然后，判断者根据整体证据模式推断L1真实性判决。

关键在于，这个推断过程并不是简单地对所有单元进行投票。一个被反驳的周边数字，可能只是把"完全属实"变成"大部分属实"；但一个被反驳的事件归因，即使帖子里的很多表面细节都是真实的，也足以决定最终的判决。换句话说，判断者必须评估每个被反驳的证据是否影响了帖子的核心主张，而不只是记录有没有错误存在。L2失真标签是在L1判决之后才被赋予的，以确保视觉真实性不被当成判断帖子真假的捷径。判断者会分别考察文字证据、视觉来源和图文关系，然后再选定失真标签，最终输出真实性判决、失真诊断和判决理由。

在具体实现上，检索查询以原文语言发出，跨语言样本还会额外使用英语或中文作为桥接查询。视觉检索会利用图片描述、OCR识别文字、命名实体，以及在可用时的反向图片搜索描述。辅助文字分析专门标记捏造、扭曲和误导性背景，辅助视觉分析则专注于合成内容迹象、编辑痕迹、来源错配和跨模态一致性。这些辅助分析结果被当作"软性证据"而非硬性规则对待，保留了判断者综合考量的灵活性。

三、真刀真枪的比拼：各系统在500道难题面前的表现

研究团队在ReMMDBench的全部500个样本上，对多个系统进行了全面测评，参与测评的系统包括：Manus（使用1.6版本）、ChatGPT（通过OpenAI网页界面评测）、MMD-Agent、T?-Agent，以及ReMMD-Agent。其中MMD-Agent和T?-Agent各自搭配了五种骨干语言模型：GPT-5.2、Gemma4-31B、Qwen3.6-27B、Qwen3.5-9B和Qwen3.5-4B，非GPT的开源骨干在H200 GPU上本地部署运行。所有系统共享相同的网络检索后端（Serper API）和图片处理流程。

在L1真实性判决的五分类准确率上，ReMMD-Agent配合GPT-5.2骨干取得了41.80%的准确率和39.12%的宏观F1，这是所有系统中最高的成绩。排在其后的是Manus（33.00%准确率）、ChatGPT（30.20%），以及T?-Agent配合GPT-5.2（28.20%）。值得关注的是，MMD-Agent配合GPT-5.2只取得了26.40%的准确率，反而低于一些规模更小的开源骨干配置。在开源骨干中，ReMMD-Agent配合Qwen3.5-9B取得了37.20%的准确率和37.18%的宏观F1，甚至超过了Manus和ChatGPT这样的商业闭源系统。

在L2失真诊断的宏观F1上，ReMMD-Agent配合Qwen3.5-9B以46.97%的成绩领先所有配置，ReMMD-Agent配合GPT-5.2则以45.15%紧随其后。在最严格的"完全精确匹配"指标（要求八个失真标签全部正确预测）上，各系统普遍表现低迷，这反映了细粒度失真诊断的内在困难。

从混淆矩阵来看，两种主要骨干（Qwen3.5-9B和GPT-5.2）在主对角线上都积累了相当可观的正确预测，但剩余错误集中在相邻的中间标签之间——比如"大部分属实"和"真假混合"之间，或者"大部分失实"和"真假混合"之间。这说明系统的主要挑战不是识别明显的假消息，而是在部分证据被反驳时，准确判断被反驳的内容是否影响了核心结论。

在消融实验中，团队逐一去掉ReMMD-Agent（GPT-5.2版本）的每个组件来测试其贡献。去掉记忆库之后，L1宏观F1从39.12%降到35.84%，L2宏观F1从45.15%降到41.77%。去掉原子化解析之后，L1宏观F1降到34.96%，L2降到39.88%。去掉视觉辅助分析之后，L1降到37.21%，L2降到40.46%——后者说明视觉辅助分析对失真诊断特别重要，因为视觉编辑和跨模态错配往往在最终的真实性判决形成之前就已经显示出诊断信号。将整个系统退化为单轮LVLM直接判断（不做任何分解和检索）之后，L1宏观F1降到31.42%，L2降到37.09%，是最差的配置。这组实验清晰地表明，原子化解析和记忆库复用都是不可缺少的组件，两者共同发挥作用。

四、钱花得值不值：成本与迁移能力的双重考验

除了性能，研究团队还对GPT-5.2骨干下三个系统的全量测试成本进行了精确核算。ReMMD-Agent跑完500个样本的总成本为104.16美元，折合每个样本0.2083美元。MMD-Agent的总成本为126.32美元，每个样本0.2526美元，比ReMMD-Agent贵17.5%。T?-Agent的总成本高达517.91美元，每个样本1.0358美元，是ReMMD-Agent的4.97倍，即贵了整整79.9%。

这个成本差异背后有清晰的机制解释。ReMMD-Agent因为记忆库的复用机制，针对一个文字主张检索到的信息可以直接服务于相关的图片绑定核查，不需要重复检索；T?-Agent则采用蒙特卡洛树搜索方法扩展推理路径，这带来了大量重复的工具调用，成本因此急剧膨胀。更重要的是，额外的搜索并没有换来更好的准确率——T?-Agent配合GPT-5.2的L1宏观F1（26.00%）甚至低于ReMMD-Agent同款骨干的39.12%。这说明在虚假信息检测中，检索的质量和组织方式比检索的数量重要得多。

在迁移能力上，研究团队用同款Qwen3.5-9B骨干和同样的检索后端，把三个系统都转移到MMFakeBench的官方测试集上（含10000个样本，70%为假、30%为真的二分类任务）。ReMMD-Agent取得了82.4%的准确率和87.1%的假新闻类F1，MMD-Agent只取得了59.2%准确率和67.3%的假新闻类F1，T?-Agent取得了63.9%准确率和71.5%的假新闻类F1。这组结果表明，ReMMD-Agent的优势不是针对ReMMDBench的特殊设计所带来的，而是源自更通用的证据管理能力。

五、按语言、按长度、按失真类型细拆：谁最难搞定

在不同文本长度下，三个系统（MMD-Agent、T?-Agent、ReMMD-Agent，均使用Qwen3.5-9B）的L1宏观F1在短文本子集上分别约为22.18%、25.09%、36.07%；在中文本子集上约为24.84%、20.03%、34.55%；在长文本子集上约为29.66%、23.95%、40.79%。ReMMD-Agent在三个长度层次上都保持了明显领先，且优势在长文本上最为突出。长帖平均含约十张图片，大量实体、日期、引用和图片引用交织在一起，原子化解析把这些混乱的信息变成可查证的单元，记忆库复用则避免了对相邻事件或同款图片的重复检索，两者的协同效应在长文本条件下被放大到最大。

在语言维度上，以MMD-Agent为参照基准，ReMMD-Agent的L1宏观F1增益在日语上高达+18.18个百分点，在法语上高达+19.62个百分点，在德语上为+12.67个百分点，在中文上为+9.68个百分点，在英语上为+5.08个百分点。MMD-Agent在日语和法语上的基准性能最低（分别为15.97%和15.66%），而ReMMD-Agent在这两种语言上的增益也最大，这说明多语言核查的瓶颈不只是翻译问题，更是实体锚定和区域信息来源访问的问题。T?-Agent偶尔在某些语言上超过MMD-Agent的L1成绩（如法语），但其L2失真诊断成绩在几乎所有语言上都大幅下滑，说明更宽泛的搜索可能找到了足够做粗粒度判断的证据，却仍然无法诊断具体的失真机制。

在八种失真标签的逐类分析中，ReMMD-Agent在七个类别上都是最优，唯一的例外是V1（合成视觉内容），在这个类别上MMD-Agent以51.78%的F1领先，ReMMD-Agent为45.63%。V1的检测依赖于图片的低层次生成痕迹和取证线索，这类信号在证据检索中难以被直接捕捉，提示低层次视觉取证和证据检索是两种互补而非相互替代的能力。相比之下，ReMMD-Agent在T2失真（扭曲真实事实依据）类别上以57.75%的F1比MMD-Agent的27.04%高出整整30.71个百分点，在V2视觉编辑上比MMD-Agent高10.69个百分点，在C1语义不一致上高7.65个百分点，在C2情境不一致上高12.45个百分点——这些类别的共同特征是，必须把帖子内容与外部证据对比才能准确诊断。C3语用不一致对所有系统都是最难的（ReMMD-Agent的最高F1也只有20.21%），因为这个类别涉及的是证据的修辞性使用方式，而不是单一的事实性错误。

在GPT骨干的混淆矩阵比较中，ChatGPT和T?-Agent都表现出一种明显的"保守偏移"——倾向于把预测堆积在中间标签附近，不敢给出自信的"完全属实"判断。这反映了一种模型偏见：当任务语境涉及虚假信息时，模型往往把不确定性本身当成了"部分失实"的证据。ReMMD-Agent通过强制要求判断者把"有支持的"、"被反驳的"和"无法核实的"原子单元分开处理，有效压制了这种系统性漂移，使预测质量更接近真实的标签分布。

六、这项研究告诉我们什么，以及它还没能解决什么

研究团队在讨论部分得出的核心结论颇具启发性：真实世界的多模态虚假信息检测，本质上是一个证据选择问题，而不是感知或搜索量的问题。一篇帖子可以用真实的证据来支持错误的结论，所以细粒度的标签体系是必要的。检索只有在每条信息都被关联到它所核查的具体主张或图片时，才真正有帮助。视觉真实性本身不足以判断帖子的真假，因为真实照片可以被滥用，而合成图片并不自动使文字内容变假。

Qwen3.5-9B在同一套ReMMD-Agent流程下反超Qwen3.6-27B这一现象，研究团队给出了解释：当检索和记忆提供了充分的证据之后，骨干模型主要需要做的是遵循判断模式、校准部分证据，以及避免过度解读不确定性。更大的模型在相邻的"部分真实"标签之间反而可能更不稳定，这提示模型规模与任务设计之间的匹配度比单纯的参数量更重要。

在局限性方面，团队坦承了几个问题。ReMMDBench的500个样本相对于真实的社交媒体规模来说偏小，尽管它为受控分析提供了足够的深度。五种语言的覆盖未能触及所有语言社区、区域谣言生态系统和低资源语言。数据集中的部分生成或编辑图片可能反映了构建时所使用工具的特定痕迹，未来版本应引入更广泛的生成器、编辑器和真实媒体来源。ReMMD-Agent依赖外部检索，其结果会随着搜索引擎覆盖范围、区域可访问性和网络证据的时序变化而波动。L3判决理由目前只进行了定性审核，自动化的理由忠实性评估还是未来工作。

研究团队还指出了几个值得继续探索的方向：理由标注应当明确识别主张、证据和图文关系；多语言场景需要本地实体和信息来源的锚定，而不只是翻译；未来系统应改善具备来源感知能力的记忆库、时序感知的检索、多语言实体链接，以及能分别评估视觉编辑、判决准确性和误导机制的独立指标体系。

归根结底，ReMMD这套系统重新定义了我们应该如何要求AI来辨别网络谣言。过去，我们觉得能判断"真"或"假"就已经很了不起了；现在，研究团队证明了在有组织的证据管理支撑下，AI完全可以做到更接近人类专业事实核查员的那种细腻判断——区分"完全捏造"、"事实被扭曲"、"真假混合"、"大部分失实"和"完全属实"，同时还能指出哪张图被PS了、哪段文字用了真实图片却配到了错误的事件上。这对于网络信息生态的维护，是一项实实在在的技术进步。

对于普通读者而言，这项研究最直接的含义是：当你看到一条配图帖子在社交媒体上疯传时，仅仅检查"这张图是不是PS的"远远不够——你还需要想想，就算图片是真的，它是否真的在说这条帖子想让你相信的那件事。这套复杂的判断，正是AI需要学会的，也是人类读者值得培养的批判性思维习惯。有兴趣深入了解这项研究全貌的读者，可以通过arXiv:2606.24112查阅完整论文。

---

Q&A

Q1：ReMMDBench与以前的假新闻测试数据集有什么本质区别？

A：ReMMDBench最核心的区别在于三点：它采用五分类真实性标签（而不是二分类的真假），每个样本平均包含5.51张图片（而不是单张配图），并且覆盖了英中德日法五种语言的多语言场景。此外，每个样本还配有八种失真类型的多标签标注和自然语言判决理由，更接近现实中事实核查员面对的复杂情况。

Q2：ReMMD-Agent为什么比T?-Agent便宜那么多？

A：T?-Agent采用了蒙特卡洛树搜索来扩展推理路径，这导致大量重复的工具调用，成本是ReMMD-Agent的近5倍。ReMMD-Agent通过持久性记忆库复用证据，为一个主张检索到的信息可以直接服务于相关的其他主张，避免了重复检索。更关键的是，T?-Agent更高的成本并没有换来更高的准确率——ReMMD-Agent在L1五分类准确率上仍然明显更优。

Q3：为什么Qwen3.5-9B在ReMMD-Agent框架下的表现有时超过Qwen3.6-27B？

A：当记忆库和原子化解析已经提供了充分的证据结构之后，骨干模型主要需要做的是遵循判断模式、校准部分证据，避免过度解读不确定性。更大的模型在"大部分属实"与"真假混合"这类相邻的灰色地带标签之间有时反而更不稳定，导致出现规模更大反而表现更差的现象。这说明模型规模与具体任务设计之间的匹配度，比单纯的参数量更重要。