当AI医生学会"逐字审稿"：浙江大学等机构联合研发的AtomiMed如何让医学报告评估真正靠谱

这项研究由浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院、浙江大学计算机科学与技术学院、阿里巴巴集团达摩院、湖畔实验室以及复旦大学可信具身人工智能研究院联合完成，于2026年6月30日以预印本形式发布，论文编号为arXiv:2606.31292。

假设你去医院做了一次肺部CT，放射科医生写下了一份诊断报告。现在，医院引入了一套AI系统，也自动生成了一份报告。问题来了：我们怎么判断AI写的这份报告到底有多准确、多可靠？

这个问题看起来简单，实则是医学AI领域长期悬而未决的难题。传统的做法是用一些文字比对工具——比如看看AI的报告和医生的报告有多少词语是重叠的。但这种方法存在一个致命缺陷：它根本不懂医学。"没有胸腔积液"和"有胸腔积液"，这两句话只差了一个"没有"，词语重叠度极高，但意思截然相反，一个是正常，一个是病变。对病人来说，这两种情况天差地别；但对传统文字比对工具来说，这两份报告几乎得分相同。

更棘手的是，随着医疗AI的发展，需要评估的报告不再局限于胸部X光，还包括CT、MRI（磁共振）和超声波等多种影像类型，覆盖从心脏到泌尿系统的各个器官。现有的专用评估工具大多只针对胸部X光开发，换个场景就"水土不服"。

正是为了解决这个核心困境，研究团队开发出了AtomiMed这套全新的评估框架，并配套推出了MRGEvalKit开源工具包和OmniMRG-Bench多模态评估基准。AtomiMed的核心思路，是把一份复杂的医学报告拆解成一个个"原子级别"的临床事实逐条核查，就像一位经验丰富的资深医生，拿着放大镜逐句审阅另一位医生的诊断报告。

一、为什么现有的"评分工具"都不够用

要理解AtomiMed解决了什么问题，先得搞清楚现有工具的问题出在哪里。

可以把评估一份AI医学报告的过程，类比为一场严格的作文阅卷。最原始的做法是"字符比对"：阅卷老师用尺子量一量，考生的作文和标准答案有多少字是一样的，重叠越多分数越高。这就是BLEU、ROUGE、METEOR这类"词元重叠"评估工具的工作原理。它们诞生于机器翻译领域，后来被借用到医学报告评估中。问题在于，医学报告里最关键的信息往往藏在那些"关键词"里——"左肺"还是"右肺"，"轻度"还是"重度"，"有"还是"没有"——而这些词语层面的微小差异，词元重叠工具根本感知不到。

于是，研究者们开发出了更懂医学的工具。CheXbert能识别14类胸部X光标签，RadGraph能提取报告中的临床实体和关系。这些工具比词元比对聪明多了，但它们的训练数据主要来自胸部X光，换到腹部CT或者脑部MRI就基本"认不出"了。就像一位只会阅读英文病历的医生，突然被要求评审一份德文病历，能力范围的边界一目了然。

还有一类工具叫"大模型裁判"，代表是GREEN。它让大型语言模型直接读两份报告，然后给出一个整体评分并指出错误类型。GREEN在胸部X光场景下与放射科医生的判断吻合度相当高，但它存在两个问题：第一，它给的是一个笼统的总分，无法告诉你具体是哪个发现描述错了；第二，它在胸部X光之外的表现急剧下降——实验数据显示，GREEN在X光上的Kendall's τ相关系数（衡量排名一致性的指标，越高越好）是0.6481，到CT场景就跌到了0.3283，到MRI更是只剩0.1513，几乎等同于随机猜测。

简而言之，目前没有任何一个工具能同时做到：适用多种影像模态、精确到细节层面、并且能告诉你错在哪里。AtomiMed就是为了填补这三个空缺而生的。

二、把报告"拆碎"再重建：原子临床事实的工作原理

AtomiMed的核心策略，用一个比喻来说，就像是把一篇文章拆解成一道道独立的"是非题"和"填空题"，然后逐题对照标准答案打分，而不是把整篇文章和标准答案放在一起模糊比对。

具体来说，AtomiMed会将一份医学报告分解为两个层次的"原子临床事实"。第一个层次叫"疾病级问答"，关注的是某个病变存在与否的判断。举个例子，从一份CT报告中提取出来的问题可能是："是否存在肾囊肿？"答案是"是"或"否"。这一层次捕捉的是诊断是否正确、是否有遗漏或误报，属于最基础的"发现了什么"的问题。

第二个层次叫"属性级问答"，则在确认某个病变存在的基础上，进一步追问它的具体特征。同样以肾囊肿为例，属性级问题会问："肾囊肿是否呈圆形？""肾囊肿的直径大约是17毫米×31毫米吗？""肾囊肿位于右肾吗？"这一层次涵盖的描述维度包括位置、大小、形态、严重程度、数量和时序变化六个类别，回答的是"这个病变长什么样、在哪里、有多严重"的问题。

这样的拆解设计，实际上复现了放射科医生在临床工作中的思维逻辑：先确认有没有病变，再描述这个病变的各项特征。一份高质量的医学报告，必须在这两个层面都做到准确。

整个拆解过程由一个大型语言模型（研究团队选用的是Qwen3-235B-A22B）来执行，它按照固定的模板提示来解析报告内容，并输出结构化的JSON格式问答对，确保结果的一致性和可再现性。

三、双向"同行评审"：让AI模拟资深医生审稿

有了这些拆碎的"原子事实"，下一步就是比对AI报告和医生报告之间的差异。这个过程被称为"智能体交叉验证循环"，其设计灵感来自放射科的同行评审制度——在临床实践中，一位医生写完报告后，通常会有另一位资深医生进行复核。

AtomiMed的做法是让这个核查过程变成双向的。以论文图1中的例子来说：AI生成的报告（预测报告）和医生写的报告（参考报告）各自被拆解成问答对之后，系统会做两轮查验。第一轮是"召回率方向"：把参考报告里的每个问题，拿去AI报告里找答案——比如，参考报告说"存在肾囊肿"，就去AI报告里问"你有没有提到肾囊肿？"这一轮统计的是AI报告有没有遗漏掉医生发现的重要病变。第二轮是"精确率方向"：反过来，把AI报告里的每个问题，拿去参考报告里找答案——比如AI报告声称"存在胆管扩张"，就去参考报告里核实"医生是否也发现了胆管扩张？"这一轮统计的是AI报告有没有编造出医生没有发现的病变。

通过这两个方向的交叉验证，系统分别计算出疾病层面的精确率、召回率和F1分数（F1是精确率和召回率的综合评分，越高越好）。然后，在疾病层面对齐的基础上，再对属性层面重复同样的流程——毕竟，如果连病变存在与否都搞错了，讨论其形态特征也就失去了意义。

最终，疾病层面和属性层面的分数各占一半权重，合并成总体精确率、召回率和F1。这种分层计算的设计，使得AtomiMed天然地把"诊断检测能力"和"描述准确性"分开评估，每一个失分点都能追溯到具体的某个问答对，给出清晰的错误定位。

当两份报告都没有任何病变陈述时（比如正常人的检查报告），系统自动将分数设为1，避免惩罚真正的正常报告。属性层面的匹配则使用模糊字符串相似度（阈值设为0.8）来处理同一病变名称的不同表述变体，增强了系统的鲁棒性。

四、OmniMRG-Bench：第一个横跨四种影像模态的评估基准

一套评估工具，必须有一个可靠的"考场"来验证它的能力。研究团队为此专门构建了OmniMRG-Bench，这是目前第一个同时覆盖X光、CT、MRI和超声波四种医学影像模态的多模态评估基准。

OmniMRG-Bench的数据来源兼顾了公开数据集和经过脱敏处理的临床档案，横跨9大解剖系统和6类属性维度。所有的原子临床事实问答对都由持有执照的放射科医生进行了人工核查，以确保标注质量。整个基准数据集共包含超过17.8万条疾病级和属性级问答对。从属性分布来看，位置描述类问答对最多，约6.29万条，其次是大小描述类，约3.15万条，这也反映了临床报告中对病变位置和尺寸的高度重视。

在OmniMRG-Bench上，研究团队对10个主流AI模型进行了系统评测，包括通用视觉-语言模型（InternVL3.5-38B、Qwen2.5VL-7B、Qwen3VL-8B）和医疗专用模型（HuatuoGPT-34B、Lingshu-7B、Lingshu-32B、MedGemma-27B、HuluMed-7B/14B/32B）。结果显示，各模型在不同模态上的表现差异显著。在X光场景下，HuluMed-7B得分最高（0.416），其次是InternVL3.5-38B（0.371）；在CT场景下，Lingshu-32B（0.198）和HuluMed-32B（0.145）领先；在MRI场景下，HuluMed-32B（0.234）独占鳌头；在超声波场景中，HuatuoGPT-34B（0.337）表现最佳。这些分数的整体偏低，也从侧面揭示了当前医学AI在跨模态报告生成方面仍有相当大的提升空间。

五、实验验证：AtomiMed与放射科医生的判断到底有多吻合

评估工具本身也需要被评估。研究团队从两个维度来检验AtomiMed的可靠性：一是看它的评分结果与专业放射科医生的错误计数之间的相关性，二是看它在帮助挑选"更好的AI报告"这项任务上与医生判断的吻合程度。

在相关性分析方面，研究团队使用了四个已有的专家标注基准：ReXVal（包含600份MIMIC-CXR报告，由六位放射科医生从误报、遗漏等多个维度标注错误数量）、ReFiSco-v0（提供行级别的临床严重性标注）、RadEvalX（含100份IU-Xray报告，涵盖8种错误类型）以及RaTE-Eval（基于MIMIC-IV电子健康记录和Radiopaedia数据库构建）。

评估结果用Kendall's τ和Spearman's ρ两个相关系数来量化，这两个指标越高代表与医生判断越一致，最高为1。在ReXVal基准上，AtomiMed的Spearman's ρ达到0.806，超过了GREEN的0.798，也远高于所有传统NLP指标（最高的ROUGE-L仅为0.748）。在ReFiSco-v0上，AtomiMed的ρ为0.744，同样超越GREEN（0.709）。在RadEvalX上，AtomiMed的ρ为0.561，高于GREEN的0.539。在RaTE-Eval上，AtomiMed的ρ为0.413，略低于RaTEScore的0.460，但这一场景的主要优势在于AtomiMed能提供每个具体发现的可追溯误差来源，而这是RaTEScore和GREEN都无法做到的。

在"偏好一致性分析"方面，研究团队设计了一个更贴近实际应用场景的测试：从IU-Xray（X光）、AMOS（CT）、RadGenome（MRI）和KMVE（超声波）数据集中各随机抽取20个病例，让前述10个AI模型各自生成报告，然后让一位持证放射科医生独立评审这80个病例下的所有模型输出，建立"人类偏好黄金标准"。各评估指标的表现用平均绝对误差（MAE，越低越好）、排名准确率（Acc，越高越好）和Kendall's τ相关系数来衡量。

AtomiMed在X光场景下的表现令人印象深刻：排名准确率高达95.71%，Kendall's τ为0.9807，MAE仅0.0214。作为对比，GREEN在同一场景下的排名准确率为63.57%，MAE为0.1857；而所有词元类指标（BLEU系列、ROUGE系列、METEOR、CIDEr）的排名准确率均在13%到21%之间徘徊，与随机猜测相去不远。

跨模态的韧性是AtomiMed另一个关键优势。在CT场景下，AtomiMed的排名准确率为84.33%，而GREEN仅为47.14%；在MRI场景下，AtomiMed为68.19%，GREEN降至48.75%；在超声波场景下，AtomiMed为49.86%，GREEN跌至33.83%，专科最强基线RaTEScore也只有35.00%。GREEN的相关性在X光之外急剧崩溃，印证了其胸部中心训练数据的局限性，而AtomiMed在所有模态上都维持了实质性的预测能力。

六、AtomiMed揭示的"隐形盲区"：现有AI模型到底错在哪里

AtomiMed不只是一个打分工具，它的分层结构还能暴露出那些整体评分看不到的系统性缺陷。

从属性维度来看，形态描述（比如病变是圆形、不规则形还是分叶状）是所有模型表现相对最好的维度，各模型分数分布在6.0到13.2之间。但一旦涉及到严重程度描述（比如病变是轻度、中度还是重度），分数就急剧下降至1.3到5.9区间；大小描述（给出具体的测量数值）同样是弱项，分数分布在1.0到6.9之间。HuatuoGPT-34B在严重程度这一维度的得分仅1.27，Qwen2.5VL-7B更是低至0.80，几近底线。这意味着：现有的医学AI可以告诉你"那里有个东西"，甚至能描述它长什么样，但很难准确量化它有多严重、有多大——而这恰恰是临床决策最依赖的信息。

从解剖系统维度来看，呼吸系统相关的病变得分普遍最高（HuluMed-7B高达21.84），清晰反映了胸部X光数据在医学AI训练语料中的主导地位。消化系统（各模型分布在0.32到10.93之间）、生殖系统（1.31到5.34）和泌尿系统（0.07到6.91）则严重"供给不足"。InternVL3.5-38B的表现更是呈现出极度不均衡的特点：它在内分泌系统上得分高达26.20，但在泌尿系统上仅有0.97，这种跌宕起伏的表现如果用传统的整体评分工具来看，是完全看不出来的。

这些细粒度的分析结果，对于AI模型的开发者来说具有直接的指导价值：不是泛泛地说"模型需要改进"，而是精确指出"在哪类影像的哪类病变的哪个描述维度上，当前模型的表现不及格"。

说到底，医学报告的评估从来不是一件可以用词语重叠来敷衍了事的工作。AtomiMed给出的答案是：把报告拆成最小的可验证单元，然后像严格的同行评审一样，逐条核实每一个临床陈述。这套逻辑不依赖于特定的影像类型，不受限于特定的解剖部位，最终得到的分数不只是一个数字，而是一张清单——哪里对了，哪里错了，错在哪个维度上。

对于医疗AI开发者来说，这意味着他们终于有了一把真正能衡量临床价值的尺子，而不是一个会被"文字游戏"糊弄的工具。对于普通患者来说，这项工作的意义在于：未来那些辅助诊断的AI系统，将会经过更严格、更贴近真实临床需求的检验，而不是靠"写了很多和标准答案相同的词语"来蒙混过关。研究团队也指出了未来的工作方向：开发计算成本更低的轻量级骨干模型、将属性层级扩展到纵向影像比较（追踪病变随时间的变化），以及将基准覆盖扩展到更多临床专科。

如果你想深入了解这项研究的技术细节，可以通过论文编号arXiv:2606.31292查询完整论文。

Q&A

Q1：AtomiMed和传统医学报告评估工具有什么本质区别？

A：传统工具主要通过比较词语重叠来打分，无法区分"有积液"和"没有积液"这类关键差异。AtomiMed则将报告拆解为疾病存在与否、以及病变的位置大小形态严重程度等细粒度问答对，逐条双向核查，最终不仅给出评分，还能精确指出哪个具体发现被遗漏或描述错误。

Q2：AtomiMed为什么比GREEN在CT和MRI上表现更好？

A：GREEN主要用胸部X光数据训练，因此在X光场景下表现强，但换到CT、MRI时相关性急剧下降，在MRI场景与医生判断的一致性接近随机猜测。AtomiMed不依赖特定影像类型的训练数据，而是通过通用大语言模型进行原子事实拆解和交叉核查，因此能在X光、CT、MRI、超声波四种模态上都保持有意义的预测能力。

Q3：OmniMRG-Bench收录了哪些类型的医学数据？

A：OmniMRG-Bench同时覆盖X光、CT、MRI和超声波四种医学影像模态，涉及9大解剖系统，包含超过17.8万条由放射科医生核验的疾病级和属性级问答对，是目前首个横跨四种影像模态的医学报告生成评估基准。