当AI医生坐进肿瘤多学科会诊室，它能听懂医生们在争论什么吗？

2024年前后，关于大模型能不能当医生这件事,各种考试题刷了个遍。执业医师考试、USMLE，这些大模型基本都能拿高分。

但有一个场景,几乎没人真正测试过:真实世界里，一群医生围坐在一起，为一个疑难病人吵了二十分钟,最后达成共识该怎么治。

这个场景叫肿瘤多学科会诊,英文缩写MDT。

MDT：Multidisciplinary Tumor Board的缩写，指多个科室的专家（外科、肿瘤内科、放疗科、病理科等）共同讨论同一个病人，综合各自专业意见后给出治疗方案的会议形式。

为什么这件事重要到需要单独拿出来说？因为MDT往往是癌症病人治疗路上的最后一道关卡。当标准治疗方案都试过了，医生们束手无策的时候，就是靠这场会诊,大家把各自掌握的碎片信息拼起来，可能是放射科看到的一个小结节，可能是病理科测出的一个基因突变，拼出一条新的生路。

如果AI能胜任这个角色,意味着医疗资源紧张的地区,病人不用等上几周才能排到专家会诊。但问题是,之前几乎没有人能验证AI到底行不行,因为没有真实的会诊记录可以拿来对比。

这就是今天要聊的这篇论文,OpenTumorBoard，要解决的问题。

现有的测试题,为什么都不算数

先说一件可能让你意外的事。现在学术界评估医疗大模型的基准，大部分都不是来自真实的临床场景。

MedQA用的是医师资格考试题,CRAFT-MD、MediQ这些基准,是研究者根据病例描述人工编写的问题。听起来好像也挺合理，但仔细想想问题在哪。

真实会诊里，医生提的问题往往是即兴的，带着具体的临床焦虑和上下文。比如放疗科医生突然问一句"这个病人之前打过多少剂量的放疗",这种问题是被前面的讨论逼出来的,不是研究者坐在办公室里能编出来的。更关键的是，现有的这些基准几乎都是单人对话，模型回答一个孤立的问题就完事了,没有哪个基准测试过模型能不能在一场真实的、多个专家来回拉扯的讨论中,撑到最后拿出一个靠谱的结论。

研究团队统计了一下，之前规模最大的同类工作MTBBench，只收录了66个病例。而且这些病例和讨论过程,基本都是退回头去根据病历写的,不是真实会议的实录。

这就好比你想考核一个人会不会打辩论赛，但你给他的训练材料全是别人写好的辩论稿摘要，从来没让他看过真实辩论赛是怎么你来我往打起来的。等真上场的时候,他可能论点都会，但完全接不住对方突然抛出的追问。

研究团队想了个办法,YouTube上其实躺着大量完整录制的真实肿瘤会诊视频,从头到尾录下来,包括医生们怎么吵、怎么让步、怎么最后拍板。这是一座没人挖过的金矿。

这座金矿怎么挖出来:一条九步自动化流水线

团队从YouTube上检索标题含"tumor board"、时长超过12分钟的录像，过滤掉纯讲课、不涉及具体病人的内容，最后留下219场会议，拼出611个病人病例，总时长12534分钟。

这个规模是前人工作的近十倍。

但光找到视频没用，视频是一堆没结构的声音和画面，得把它变成能喂给AI训练和测试的结构化数据。这里就要讲讲这条流水线是怎么工作的了。

流水线分两条轨道同步处理，一条管声音，一条管画面。

声音这边，先用WhisperX（基于Whisper large-v2模型）做转录，再用pyannote做说话人分离，也就是把录音里不同的声音区分开，标出"这段话是哪个人说的"。然后用GPT-5.4给每个说话人推断出他的专业角色,是外科医生、放射科医生还是遗传咨询师。因为一场会议常常讨论好几个病例，还得用GPT-5.4做病例切分，把混在一起的讨论拆成一个个独立的病例单元。

画面这边更复杂。每五秒抽一帧画面，先用CLIP模型粗筛,判断这一帧更像"投影幻灯片"还是"说话人或听众"。再用Grounding DINO定位投影屏幕的位置,用SAM2.1把幻灯片区域精准抠出来。相似度超过0.85的重复帧会被去重,最后再用GPT-5.4过一遍，留下真正有临床信息、字迹清晰的幻灯片，并给每张图配一句说明。

CLIP：一种能同时理解图像和文字的AI模型，可以判断一张图片和一句描述有多匹配。Grounding DINO：一种能根据文字提示在图片里框出目标物体位置的检测模型。SAM2.1：一种能把图片中指定物体精确"抠出来"的分割模型。

这两条轨道最后要对齐,把某个时间点上医生说的话,和当时投影屏幕上正在放的那张幻灯片关联起来。这一步特别关键，因为真实会诊里医生回答问题经常是指着屏幕说"你看这里"，如果不把语音和画面对齐，AI训练数据里的问答就会变成没头没尾的空话。

这里要停下来说个类比。想象你想学做一道菜，有人给你一本菜谱，上面写着"加入适量盐，翻炒片刻"，但完全没有图片和视频。你照着做大概率要翻车，因为"适量""片刻"这种词离开了具体场景就没有意义。真实的肿瘤会诊讨论也是这样，一句"这个病灶的信号强度提示恶性"，如果不配上当时正在放的那张MRI影像，AI学到的只是一句空洞的套话，完全不知道医生当时到底在看什么、凭什么下这个判断。流水线做的这一整套对齐工作，本质上就是把菜谱和实拍视频拼在一起，让AI不仅知道"该说什么"，还知道"看到什么才该这么说"。

为了验证这条自动化流水线靠不靠谱，团队让三位标注员随机抽查了15场会议进行人工核验。病例切分的边界识别准确率是98.1%，幻灯片提取的精确率是93.0%（排除掉近似重复帧之后能到99.7%），召回率93.6%，角色推断准确率96.3%。这个数字说明流水线不是糊弄出来的，确实能把原始视频稳定地转成可用的结构化数据。

两套考题：单轮发言和整场模拟

有了结构化数据，接下来是设计怎么考AI。

论文设计了两个难度递增的测试任务。第一个叫SPECIALIST TURN，专家发言测试，比较简单，就是给AI一个具体的专家身份,再给它病人的病例摘要和幻灯片,然后把真实会议里某位专家被问到的一个具体问题抛给AI，看它答得和真人专家像不像。

SPECIALIST TURN：让AI扮演会诊中某个具体的专家角色，回答一个从真实录像中提取出来的、原本就是被问到这位专家的问题，再和真实专家的回答对比打分。

这个任务一共有4844道测试题，覆盖九种问题类型，比如结果解读、证据讨论、治疗建议、临床试验匹配等等。

第二个任务难多了，叫BOARD SIMULATION，整场模拟。这次AI不再只回答一个问题，而是要从头到尾模拟整场多学科讨论,自己扮演所有角色，自问自答，一轮一轮往下聊，最后给出一个最终的治疗建议作为共识结论。

BOARD SIMULATION：仅凭病例摘要和幻灯片，让AI独自生成一整场多角色来回讨论的完整记录，并给出最终会诊结论，再拿这个结论和真实会诊的实际结论对比打分。

这两个任务的区别，有点像考驾照的笔试和路考。笔试（SPECIALIST TURN）考的是你知不知道某个具体路况该怎么应对，路考（BOARD SIMULATION）考的是你能不能一个人开着车，从起点顺畅开到终点，中间每一个该左转该让行的判断都不能出错。路考难，是因为任何一步的小错误都会在后面滚雪球。如果AI在讨论的第五轮就把一个关键检查结果理解错了，后面十几轮的讨论可能都建立在这个错误基础上，最后给出的结论自然也就歪了。

为了给这两个任务打分，团队没有简单比对文字相似度，而是设计了专门的评分标准，用另一个大模型Qwen3.8-27B当裁判。对SPECIALIST TURN，裁判按照一个1到5分的"临床等价性"量表打分，判断AI的回答有没有保留住真实专家回答里的关键临床判断、理由和不确定性。对BOARD SIMULATION，裁判用"结论一致性"量表，看AI模拟出来的最终结论，和真实会议达成的共识，在治疗方案、手术计划、下一步行动、临床试验匹配这四个维度上到底有多吻合。

考试结果：最强的模型也只拿了及格线以下的分

现在到了揭晓答案的时候。

团队测试了14个大模型，包括通用大模型（比如DeepSeek-V4、Gemini、Grok、GPT、Claude）和专门针对医疗训练过的模型（比如MedGemma、HuatuoGPT、Meditron、MedReason）。

SPECIALIST TURN任务上，表现最好的是开启推理模式的DeepSeek-V4-Pro，拿到了3.43分（满分5分）。乍一看好像还不错，但别忘了评分标准里3分的定义是"只保留了大致方向，丢失了关键条件或推理过程"。也就是说，就连最强的模型，平均水平也只是勉强达到"大致对、细节丢了不少"的程度。

更让人担忧的是错误率。各模型的"严重错误率"介于5.6%到43.5%之间，"无依据断言率"介于10.0%到74.5%之间。严重错误指的是模型编造出了矛盾的事实或给出了不安全的处理建议，无依据断言指的是模型加了一些病例里根本没提到的内容。

这两个数字意味着什么？意味着即便是表现较好的模型，每回答10个问题，大概也有1个会出现临床上不该犯的严重错误，还有超过1个回答里夹杂着编造的内容。如果这是在真实的病人讨论会上，这种错误率是完全没法接受的。

有一个发现特别值得说一说：专门针对医疗训练过的模型，整体表现反而不如通用的大模型。HuatuoGPT-3-32B和MedReason-8B的无依据断言率分别高达74.5%和51.9%，排在倒数前两名。这说明一个问题，死记硬背医学知识，和能不能跟上一场具体、动态、充满上下文的临床讨论，完全是两回事。

这就好比一个背熟了整本《刑法》条文的人，不一定能在法庭上当场打赢一场辩论。法庭辩论需要的不只是记住法条，而是要紧跟对方的论证逻辑，抓住对方刚才说漏的一句话，随机应变地反驳。医疗专科问答需要的也是这种"在场感"，是跟着具体病人的具体证据链条往下推理的能力，而不是把记住的医学知识硬搬出来。

下面这张表格汇总了SPECIALIST TURN任务上几个代表性模型的核心表现：

| 模型 | 临床等价性得分 | 严重错误率 | 无依据断言率 |

|---|---|---|---|

| **DeepSeek-V4-Pro（推理模式）** | **3.43** | **5.6%** | **11.8%** |

| DeepSeek-V4-Flash（推理模式） | 3.33 | 6.7% | 13.7% |

| Gemma 4 31B（推理模式） | 3.08 | 6.5% | 10.0% |

| Meditron3-70B（医疗专用） | 3.01 | 11.2% | 20.9% |

| MedGemma 27B（医疗专用） | 2.88 | 13.7% | 23.1% |

| HuatuoGPT-3-32B（医疗专用） | 2.67 | 23.1% | 74.5% |

| MedReason-8B（医疗专用） | 2.09 | 43.5% | 51.9% |

再看BOARD SIMULATION整场模拟任务，情况更不乐观。表现最好的是Gemini 3.7 Flash，结论一致性得分只有2.78分，连及格线3分都没到。

团队还发现一个很有意思的规律：讨论越长，模拟出来的结论越靠谱。十四个模型里，输出长度和结论一致性得分之间的相关系数达到0.63，属于比较明显的正相关。这其实挺符合直觉的，真实会诊里，讨论时间长往往意味着大家把各种可能性都摆出来充分权衡过了，而不是草草下结论。如果AI生成的讨论只是走个过场，三两句话就直接给结论，大概率是在"抄近道"而不是真的在推理。

下面是BOARD SIMULATION任务的完整排名：

| 模型 | 结论一致性得分 | 类型 |

|---|---|---|

| **Gemini 3.7 Flash（推理模式）** | **2.78** | 闭源 |

| Grok 4.6（推理模式） | 2.58 | 闭源 |

| Qwen3.8-Max（推理模式） | 2.57 | 闭源 |

| GPT-5.6 Sol（推理模式） | 2.53 | 闭源 |

| Claude Opus 5（推理模式） | 2.53 | 闭源 |

| Gemma 4 31B（推理模式） | 2.52 | 开源 |

| MedGemma 27B（医疗专用） | 2.15 | 开源 |

| Meditron3-70B（医疗专用） | 1.93 | 开源 |

| HuatuoGPT-3-32B（医疗专用） | 1.83 | 开源 |

| MedReason-8B（医疗专用） | 1.43 | 开源 |

能不能把小模型训练得更好

既然大模型现成的表现不理想，这个数据集还能不能用来训练一个更好的模型？

团队拿了一个只有30亿参数的小模型Qwen2.5-VL-3B做实验，用366个训练病例，先做了监督微调。

监督微调：用一批人工标注好的正确答案（这里是真实的会诊讨论记录和结论），直接教模型照着这个标准输出，是模型训练里最基础的一种方式。

微调之后，结论一致性得分从1.58涨到1.67，提升了大约5.7%。接着团队又在微调基础上做了强化学习，用的是一种叫Dr.GRPO的算法，核心思路是让模型自己生成很多个版本的会诊模拟,再用前面提到的那套评分标准给每个版本打分，分数高的版本会被强化，模型据此调整自己的生成策略。

Dr.GRPO：一种强化学习训练方法，让模型针对同一个问题生成多个候选答案，根据这些答案的相对好坏调整模型，使其倾向于生成得分更高的内容。

强化学习之后，结论一致性得分进一步涨到1.86，相比微调前提升了大约18%。这个提升幅度看起来不算惊艳，但要知道这是在只有一个3B小模型、366个训练样本的前提下做到的，已经把和MedGemma 27B这种更大模型之间的差距补上了一半。

这说明一件事：这份数据集不只是用来考试的，它本身承载的真实讨论轨迹，是能拿来当训练素材、真正教会模型怎么"开会"的。

打个比方，这就像给一个刚入职的实习医生，不是单纯塞给他一堆医学教材，而是让他全程旁听了几百场真实的科室会诊，看前辈们怎么吵、怎么让步、最后怎么拍板。看得多了，他自己主持会诊的能力自然会跟着涨，哪怕看的场次不算特别多。如果反过来，只给他教材不让他旁听真实会诊,他可能知识点都背得滚瓜烂熟,但真让他主持一场讨论，大概率会手忙脚乱。

三位医学博士来把关

数据质量这件事不能自说自话，团队专门请了三位拥有肿瘤学背景的医学博士，对数据集做了人工审查，抽查了15个病例。

审查结果显示，病例摘要的信息覆盖度、事实准确性，以及最终共识结论的忠实度，这三项全部拿到了100%的"高"评级。

SPECIALIST TURN部分，92.6%的提取答案在"正确性"上被评为"高"，94.4%在"有讨论支撑"上被评为"高"。问题相关性方面，94.9%的问题被评为具有实质相关性。

这个审查结果说明，这套从YouTube视频里挖出来的数据，不是自动化流水线瞎编出来的，确实能反映真实会诊的样貌。这一点很重要，因为如果地基本身不牢，后面所有基于它训练和评测的结论都站不住脚。

写在后面

读完这篇论文，有一个细节让我反复回想。那就是专门医疗模型普遍表现不如通用模型这件事。

这其实在提醒我们一件容易被忽略的事：医疗AI的瓶颈，可能根本不在于它懂不懂医学知识，而在于它能不能跟上一个动态展开的推理过程。真实会诊不是知识问答，是一场充满上下文依赖、充满临时转折的对话，上一位专家说的一句话会直接改变下一位专家的判断方向。现在很多医疗模型的训练思路还停留在"喂更多医学文献"，但这篇论文的结果暗示，也许真正稀缺的训练素材根本不是知识本身，而是这种"推理过程"的轨迹。

另一个让我印象深刻的地方是，团队花了大量篇幅在讲一个听起来很琐碎的技术细节,去泄漏处理。简单说，就是要确保给AI看的病例信息里，不能包含"手术做完发现是良性的"这种只有事后才会知道的结果，否则AI等于是在抄答案。这个处理过程占了论文附录很大一部分篇幅，细致到规定了哪些类型的句子改写是允许的、哪些是不允许的。这种近乎偏执的严谨，恰恰说明做一个"真实世界基准"远比想象中麻烦，光是把数据收集起来还不够，还要花同等甚至更多的精力去确保这份数据没有在无意中泄题。

这篇论文留下的空白也很明确，所有打分都是由另一个大模型当裁判完成的，虽然设计了详尽的评分细则，但这套AI裁判和真人医生的判断到底有多一致，论文自己也承认还没有验证，留作未来工作。另外，数据全部来自公开的YouTube录像，这意味着能上YouTube公开讨论的病例，可能本身就带有某种选择偏差，未必能代表所有医院里真实发生的会诊全貌。

如果有一天，AI真的能坐进那间会诊室，安静地听着八个专家你一言我一语，然后在恰当的时候说出一句真正有价值的建议，那会是什么样子？这篇论文测出来的分数告诉我们，这一天还没到，但至少现在，有人开始认真地量它离我们还有多远了。

Q&A

Q1：OpenTumorBoard是什么？

A：OpenTumorBoard是一个从YouTube真实肿瘤多学科会诊录像中提取构建的大规模基准数据集，包含611个病人病例、19157轮专家讨论，用来测试AI大模型模拟真实肿瘤会诊的能力。

Q2：现在最强的AI模型在模拟肿瘤会诊上表现怎么样？

A：表现并不理想。在回答单个专家问题的测试中最高只拿到3.43分（满分5分），在模拟整场讨论并给出最终结论的测试中最高分仅2.78分，且专门医疗模型普遍不如通用大模型。

Q3：这个数据集除了考试还能干什么？

A：可以用来训练模型。团队用其中的训练数据对一个30亿参数的小模型做了微调加强化学习，结论一致性得分提升了约18%，证明这份真实讨论轨迹能有效教模型学会"开会"。