
心脏内科医生做冠状动脉造影的时候,其实一直有个说不出口的烦恼。
同一份造影片子,三位经验丰富的心脏科医生分开看,只有77.4%的概率会得出一致的结论。这不是哪个医生水平差,而是这件事本身就难。心脏的血管是立体的,但造影拍出来的是平面图像,血管会重叠,会因为拍摄角度产生"缩短"的错觉,明明是严重狭窄,看起来却轻描淡写。医生得在脑子里把好几个角度的画面拼成一个立体模型,这本身就是个高难度的脑力活。
冠状动脉造影*:一种通过导管注入造影剂,用X光实时拍摄心脏血管形态的检查方法,是诊断冠心病的金标准。
这些年AI也来凑热闹了,想帮医生分担一部分判断压力。但市面上大多数AI系统有个共同的毛病:它们只给答案,不给理由。你问它这个病人是左优势型还是右优势型,它吐出一个标签,仅此而已,至于为什么这么判断,模型自己心里门儿清,医生却一头雾水。这就好比你去看病,医生开了药方,你问"为什么吃这个药",医生说"信我就完了"。放在日常生活里这已经够让人不安了,何况是要往病人心脏里插导管的诊断。
这篇来自中国医科大学附属医院团队的论文,做的就是这件事:让AI不仅给出诊断,还要指着片子上的具体位置告诉你"我是从这里看出问题的"。
**看病要看得准,还要说得清**
先说说这个AI系统叫什么。它叫CARDEA,是一个统一的大型视觉语言模型,说白了就是一个既能看图又能说话的AI,专门针对冠状动脉造影这件事训练出来的。
大型视觉语言模型(LVLM):一种同时能理解图像和生成自然语言的AI模型,可以看图说话,也可以根据图像回答开放式问题。
CARDEA最与众不同的地方在于它的推理过程带着"证据"。研究团队给这种推理方式起了个名字,叫做Chain-of-Box,链式框选推理。简单说,就是模型在思考的每一步,都会在图片上画一个方框,标出它此刻正在看的血管位置,然后基于这个框里的内容继续往下推理,一步一步走到最终结论。
Chain-of-Box(CoB):一种让AI在文字推理过程中穿插图像边界框的机制,让人类可以逐步核对模型每一步依据的是图像里的哪个区域,而不是黑箱式地直接给答案。
这一点为什么重要,值得多说两句。想象你请了一个装修师傅来检查你家的墙体裂缝,师傅看了一圈说"这堵墙有问题,得砸了重砌"。你肯定会追问"哪里有问题?"如果师傅只会说"信我",你大概率不敢让他动手。但如果师傅指着墙角说"你看这道裂缝的走向,说明是地基不均匀下沉造成的,得从这里下手加固",你才敢真正放心。医疗诊断也是同样的逻辑,尤其是这种要决定要不要做手术、放不放支架的判断,医生需要的不是一个孤零零的答案,而是一条能顺着看下去、能验证的证据链。如果没有这条证据链,医生每次都得从头把片子重新看一遍去验证AI说得对不对,那AI存在的意义就打了折扣,因为核实的成本几乎没有降低。
**从原始视频到诊断结论,一条流水线走到底**
CARDEA的工作方式分成两个阶段,研究者把它比喻成"两遍处理"。
第一遍是逐个视频看。做一次造影检查,医生会拍很多段不同角度的视频,里面既有清晰的诊断画面,也有大量因为对比剂没打好、心脏没对齐而拍糊了的废片。CARDEA的第一步工作就是从每段视频里挑出真正有诊断价值的关键帧,同时判断这一帧拍的是左边的血管还是右边的血管。这一步之所以必要,是因为把所有原始帧都丢给一个大模型处理,计算量会大到不现实,而且大部分帧本身就是没用的噪声。
第二遍才是真正的"看病"。系统会把第一遍筛选出来、覆盖左右冠状动脉主要视角的关键帧集合起来,进行跨视角的综合推理,得出这个病人整体层面的诊断结论,比如冠状动脉优势型是左优势还是右优势,血管病变的复杂程度是轻中度还是高危。
这套流程被称为端到端流水线,意思是从最原始的多角度造影视频输入进去,一路走到最终的临床结论输出出来,中间不需要人工干预拼接不同模块。这和之前一些拼凑式的系统不一样,那些系统往往是好几个独立训练的小模型串在一起,前一个模型的错误会传导给后一个模型,出错概率是累积的。用一个统一模型做完整条链路,至少避免了模块之间"传话传歪了"的问题。
**没有人工标注推理过程,AI怎么学会"讲道理"**
这里有个特别有意思的技术难题。研究者想让模型学会一步步指着图讲道理,但市面上根本没有现成的、带着详细推理过程的标注数据,医生看片子的时候脑子里怎么想的,是不会写下来给你训练用的。
研究团队想出的办法是自我蒸馏冷启动。具体做法是,先训练一个初步的模型,让它学会在图上标出血管和病变的位置,然后用没有经过微调的原始大模型(充当"老师")根据这些位置标注,结合一份文字版的诊断判断规则,自己生成一套带推理过程的示范文本。生成出来的示范会经过一道校验:只有推理过程确实用到了图像框选、并且最终答案是正确的,才会被留下来作为训练素材,答错的或者没画框的全部丢掉。
自我蒸馏:让同一个模型(或其未经微调的版本)充当老师,自动生成带推理过程的训练样本,再用这些样本训练自己或后续版本,从而避免人工标注推理链条的高昂成本。
这个思路挺像家长教小孩做数学题的方式。你不会真的从头讲一遍数学原理,而是先让孩子看着例题的解题步骤模仿,模仿对了的例题留下来继续用,模仿错了的就扔掉重新出一道。如果没有这个自动筛选和淘汰的环节会怎样?模型很可能学会"画框"这个动作本身,但画的框毫无意义,随手在图上框一个大概区域就蒙混过关,完全达不到辅助医生核实的效果。
**三阶段训练,最后一步才是真正的临场发挥**
CARDEA的训练总共走了三个阶段。第一阶段叫视觉特征对齐,用公开数据集里的血管标注和狭窄病变标注去训练模型认识心脏血管的基本模样,同时教它学会用方框标注位置。第二阶段就是刚才说的冷启动阶段,把链式框选推理的行为植入模型。
第三阶段是重头戏,叫做带可验证奖励的强化学习,简称RLVR。
RLVR(Reinforcement Learning with Verifiable Rewards):一种强化学习训练方式,模型每做出一个回答,系统会用明确的规则判断答案对不对,答对了才给奖励,这个奖励信号推动模型不断调整自己的推理策略。这套思路最早在DeepSeek-R1这个大语言模型上引起广泛关注。
在这个阶段,研究团队设计了一个针对性的奖励机制:如果模型在推理过程中使用了链式框选,并且最终答案是对的,就会得到额外奖励。这个奖励只针对"病人整体层面"的判断任务开放,比如优势型分类和复杂度评估,因为这类判断需要综合好几个角度的图像信息,天然需要一条解释"我是怎么从多个局部特征拼出这个结论"的证据链。而单一视角的任务,比如仅仅是给某张图上的血管画个框,本身就不涉及跨图综合,用不上这套机制。
有意思的是,研究团队特意把开放式的报告生成任务排除在了强化学习训练之外。原因也很实在:报告生成没有一个简单的规则能判断对错,如果要用打分模型去评判,模型很容易学会讨好打分模型而不是真正写好报告,这种现象叫做"奖励黑客",是强化学习里的一个已知陷阱。
**没教它写报告,它却自己学会了**
这是整篇论文里最出乎意料的发现。
研究团队用一个叫AngioCAD的外部数据集做了一次彻底的"闭卷考试"。这个数据集从头到尾没有参与过任何一个训练阶段,模型此前完全没见过。他们让CARDEA在这个数据集上生成完整的临床报告,一种此前压根没有专门训练过的任务。
评估报告质量用的指标叫血管严重程度宏平均F1分数(VS-F1),简单理解就是用另一个医疗AI模型把生成的自由文本报告解析成每根血管的病变等级,再和真实答案对比打分。
结果发现,一个从来没微调过的原始大模型,直接拿去生成报告,反倒能打到0.513分。而经过前两个阶段监督训练之后,这个分数不升反降,第一阶段掉到0.452,第二阶段更是跌到0.373。也就是说,专门用来提升诊断分类能力的监督训练,把模型写报告的能力给"教坏了"。
只有到了第三阶段,也就是强化学习之后,这个分数才真正翻身,达到0.686分,是原始模型的1.3倍还多,是"永远说正常"这个偷懒策略得分0.312的两倍还多。
这背后可能是怎么回事?研究者的解释是,监督微调本质上是照葫芦画瓢,模型学的是特定任务的输出格式,学得越像,就越容易忘记怎么灵活综合多角度信息去写一份开放式的报告。而强化学习不一样,每一次答对一个诊断题,模型都得自己真刀真枪地把多张图的信息揉到一起去判断,这个"揉信息"的能力被反复打磨,慢慢变成了模型骨子里的本事,而不是表面上的话术。等到写报告的时候,这个真本事就派上用场了。
这个现象让我想起一个挺贴切的类比。你教一个孩子做菜,如果只是让他死记硬背菜谱,照着步骤复述,他确实能把某道菜说得头头是道,可换一道没背过的菜,立刻露怯。但如果你让他反复地真刀真枪去试菜,尝咸淡、调火候,哪怕没有专门教他做那道新菜,他积累的手感和判断力也能帮他即兴发挥出个八九不离十。监督微调更像死记硬背,强化学习更像真刀真枪的历练。如果没有强化学习这一步,模型很可能永远停留在"背菜谱"的水平,遇到没见过的报告任务就露馅。
**和专科模型、真医生比一比,成绩单长什么样**
光讲道理不够,数据才是硬通货。研究团队把CARDEA和多个专门为单一任务训练的模型,以及两位有10年和3年经验的介入心脏科医生做了正面比较。
在血管狭窄检测这个任务上,CARDEA达到0.37分,专门的检测模型DCA-YOLOv8是0.36分,两者打平。血管节段检测上CARDEA拿到0.50分,专门的检测算法DeepCoro只有0.47分,CARDEA略胜一筹。视角分类几乎满分,0.99分。
到了病人整体层面的诊断,这才是流水线的核心价值所在。冠状动脉优势型分类,在同分布的真实病例分布测试集上,CARDEA的准确率0.94,略低于专门分类器ConvNeXt的0.97。但换到设备完全不同的域外测试集上,CARDEA反而以0.91分反超ConvNeXt的0.89分。这说明专门训练的模型可能在见过的设备类型上占优势,可一旦换个陌生的机器拍片子,泛化能力就打了折扣,而CARDEA凭借更宽泛的训练和更强的推理能力扛住了这种变化。
复杂度评估任务上,CARDEA准确率0.90,和两位医生的0.90和0.88几乎持平。这意味着在判断这个病人的血管病变属于"轻中度"还是"高复杂度"这件事上,CARDEA的表现已经摸到了资深医生的水平线。
下面这张表格汇总了几个核心结果:
| 任务 | CARDEA | 对比基准 |
|---|---|---|
| 域外优势型分类准确率 | 0.91 | ConvNeXt: 0.89 |
| 复杂度评估准确率 | 0.90 | 医生1: 0.90 / 医生2: 0.88 |
| 零样本报告生成VS-F1 | **0.686** | 原始模型: 0.513 / 全判正常: 0.312 |
| 零样本RCA狭窄分类目标F1 | **0.85** | 基线模型: 0.81 |
在完全没见过的AngioCAD数据集上,CARDEA在右冠状动脉狭窄分类任务上的目标类F1达到0.85,超过了专门为这个数据集设计的Adaptive Feature Fusion模型的0.81。这算是一次不错的域外泛化成绩单,尽管在视角分类这个子任务上它以0.90分略输给专门模型VGG19+LSTM的0.95分。
**方框有没有用,做了一次拆解实验**
研究团队还做了一组消融实验,专门验证冷启动和链式框选奖励这两个设计到底有没有必要。
如果去掉冷启动阶段直接上强化学习,模型学会画框的速度会慢很多,大概需要130步训练才能让画框行为普及开来,而有冷启动的话只需要30步左右。更关键的问题出在框的质量上:没有冷启动打底,模型画出来的框中位数覆盖了整张图片面积的76%,基本等于什么都没框出来,纯粹是为了拿奖励而随便画一个大框糊弄过去。有了冷启动示范,框的中位数面积只占图片的1%左右,精准地圈住了具体的血管或病变区域。
这个现象也很好理解。奖励机制只要求"画个框就行",并没有规定框要画多准,如果模型没有见过精细示范,它自然会选择成本最低的作弊方式,画一个几乎覆盖全图的大框,反正怎么框都能沾上边,肯定能拿到奖励。这就像考试只要求"写点什么就给分",学生发现只要卷面写满字就能拿分,那谁还会认真组织语言。冷启动阶段提供的高质量示范,相当于提前告诉模型"框要画得精准才算数",堵死了这条投机取巧的路。
再看奖励机制本身的作用。如果完全去掉链式框选奖励,模型画框的比例会先短暂上升然后迅速崩溃到只剩5%左右,但诊断准确率几乎没受影响。这说明画框这件事本身并不是拉高准确率的原因,奖励机制真正的作用是维持这种可解释行为,让模型愿意持续地把推理过程摊开给人看,而不是让它闷头给答案。
**部署之前,还有几道坎要迈**
这套系统目前跑一次完整流程,从原始视频到生成报告,中位耗时大约6秒,这是在四块英伟达B200 GPU上测出来的成绩。这意味着CARDEA暂时没法用在需要毫秒级反应的术中实时导航场景,更适合用在术后或者会诊阶段的辅助分析。
另一个值得留意的问题是,链式框选这种带证据的推理行为,在训练数据分布之内的任务上出现频率很高,比如同分布优势型分类接近99.5%,复杂度评估达到100%。但一旦挪到域外设备或者没训练过的报告生成任务上,这个比例会掉下来,域外优势型分类只有65%,报告生成只有75%。好消息是,研究者发现只要多采样几次,从7次独立生成结果里挑一个带框的出来,这个覆盖率能被拉回到92%和98.5%,而且诊断表现基本没有变化。这说明模型其实具备画框讲道理的能力,只是在陌生场景下这种行为触发得不够稳定,需要额外的采样策略去补救。
研究团队自己也很坦诚地列出了一堆局限,包括训练数据主要聚焦在血管和狭窄病变上,对钙化、血栓这些其他重要病变特征覆盖不足;每个病例最多只用10张静态关键帧,丢失了造影剂在血管里流动的动态信息;复杂度评估和关键帧选择这两个测试集样本量偏小,分别只有60例和5位病人的48段视频,结果可能不够稳健。最重要的一点是,这套系统还没有经过真正的临床前瞻性验证,也没有和医生撰写的真实报告做过盲法对比,这是它走向临床应用之前必须迈过的一道坎。
写在后面
读完这篇论文,最让我意外的不是CARDEA的诊断准确率有多高,毕竟它在很多任务上也就是和专科模型打个平手,甚至个别任务还略逊一筹。真正让我停下来想了很久的,是那个监督训练反而让报告生成能力变差、强化学习却把它救回来的现象。
这多少推翻了我之前一个模糊的直觉,觉得"教得越细致,模型学得越好"。但这里的数据摆得很清楚:针对性的监督微调,教会了模型完成特定分类任务,代价却是让它在没被专门教过的开放式写作任务上退步了。这提醒我一件事,训练一个模型学会做A件事,不代表它不会因此变得更不会做B件事,能力之间不是简单的叠加关系,有时候是此消彼长的。
另一个值得琢磨的细节是链式框选奖励和最终准确率之间的脱钩关系。画框这件事本身对准确率几乎没有直接贡献,它存在的价值完全在于给人类留了一扇窗户,让医生能核实模型的判断依据。这其实是个挺朴素但常被忽视的道理:一个AI系统的"可解释性"和它的"性能",很多时候是两件需要分别投入资源去优化的事情,而不是性能提升带来的自然副产品。
如果连一个大模型都能在完全没被教过写报告的情况下,靠着做分类题练出来的综合判断力自己把报告写像样了,那我们对"训练目标"和"实际能力"之间关系的理解,或许还得再往深处挖一挖。
Q&A
Q1:CARDEA是什么?
A:CARDEA是中国医科大学附属医院团队开发的大型视觉语言模型,专门用于冠状动脉造影的端到端诊断,能从原始多视角造影视频中自动筛选关键帧并生成带有图像框选证据的诊断推理。
Q2:CARDEA的诊断准确率和真人医生相比怎么样?
A:在复杂度评估任务上,CARDEA准确率0.90,和两位介入心脏科医生的0.90和0.88基本持平;在域外设备测试中优势型分类准确率0.91,略高于专门分类器的0.89,但在同分布测试中仍略逊于专科模型。
Q3:为什么强化学习能提升CARDEA没被专门训练过的报告生成能力?
A:研究者推测,监督微调只是让模型模仿输出格式,容易遗忘综合信息的能力;而强化学习让模型在每次答对诊断题时都要真正综合多角度图像信息,这种能力被内化后,恰好能迁移到从未训练过的报告生成任务上。
好文章,需要你的鼓励
本文介绍LT-OPD训练框架,通过让极限压缩的多模态大模型在自己生成的内容上接受满血版模型指导,并配合渐进式课程学习,在仅保留5%视觉token时把性能保留率从68.6%提升到82.3%,且不增加推理成本。
本文解读ALIGNOPSD方法,该方法针对AI智能体训练中"决策与时间戳错配"问题,通过先对齐功能相同的决策场景再打分,并按可变长度决策段分配信用,在ALFWorld、WebShop、Search-QA三大任务上相比GRPO提升5.5%至8.7%。
本文介绍自适应一致性图(ACG)方法,通过持久化执行记忆图与预算感知的上下文构建,帮助AI智能体在长任务中减少信息失联,在多项基准测试中相比ReAct等基线方法提升了任务成功率。
多智能体AI协作时重复计算KV缓存浪费严重。PReCache提出预计算低秩缓存和中性基础缓存重构两项设计,免训练实现最高3.1倍加速、2.3倍吞吐提升,且准确率仅比不共享方案低1.1个百分点。