医生真实用AI的方式，和体检它的考题，完全对不上

2026年初,纽约大学朗格尼健康中心做了一件以前没人系统做过的事:把过去八个月里，六千多名医生、护士和临床助理跟一个医院内部AI助手说的话，全部收集起来，逐条分析他们到底在问什么。

结果让人有点意外。

你可能以为医生用AI主要是在问诊断，“这个病人的症状像什么病”，毕竟这才是AI最被吹捧的能力，像那种能和病人对话做鉴别诊断的系统，论文标题动不动就是“迈向对话式诊断人工智能”。但真实数据显示，诊断类提问只占了全部查询的3.7%。

而写文档和查资料，这两件听起来毫无技术含量的事，加起来占了将近三分之二。

这篇发表在arXiv上的论文，标题叫《临床医生使用语言模型的方式，与模型评估方式存在分歧》，作者来自纽约大学朗格尼医学中心的神经外科团队。他们不仅统计了医生的真实提问，还把58个目前业内常用的AI医疗测评题库拿出来，用同一套标准重新打分，结果发现：这些题库跟医生实际在问的东西，基本对不上。

这篇文章要讲的，就是这个落差是怎么被发现的，又说明了什么问题。

为什么要做这件事

先说说这件事为什么值得做。

LLM

LLM：大语言模型，也就是ChatGPT这类能理解和生成自然语言的人工智能系统

现在被越来越多医院接入到日常工作流程里，美国已经有超过80%的医生表示自己在专业工作中用过AI。但评估这些系统靠不靠谱的方式，还停留在让它做医学考试题。

这就带来一个问题：如果你用来衡量一个系统好坏的尺子，跟它实际要干的活根本不是一回事，那这把尺子量出来的分数还有什么意义?

论文里引用了一个很扎心的数字：截至2024年初发表的519项LLM医疗评估研究中，只有5%使用了真实的病人护理数据。另一项覆盖4609项研究、截止到2025年9月的更大规模综述发现，77.3%的研究压根没用过任何真实临床数据。

换句话说，大部分测评AI医疗能力的论文，用的都是精心设计的考题或者专家编写的案例，而不是真实世界里医生会问的那些杂乱、不完整、带着缩写和口语化表达的问题。

这就好比你想知道一个新司机开车技术怎么样，于是让他在驾校的标准化场地里倒车入库、侧方停车，考完给他发了个驾照。但真实的马路上有变道加塞的大货车，有突然窜出来的外卖电动车，有导航突然失灵的隧道。驾校考试能证明这个人学过开车，却没法告诉你他在真实路况下会不会手忙脚乱。如果驾照考试的内容和真实路况完全脱节，那驾照本身能说明的东西，其实非常有限。

医生到底在问什么

研究团队开发了一套叫RCQ-Map的分析框架。

RCQ-Map：Real Clinical Query Map的缩写，一套给医生真实提问打标签的分类系统，它会记录每条提问的任务类型、意图、能不能被直接回答、缺了什么信息、潜在风险有多大，总共20个维度

这套框架不是拍脑袋想出来的，而是基于以前临床问题分类研究和LLM评估文献整理出来的，并且经过真实医生验证过可靠性。

他们用这套框架分析了127833条医生对AI助手说的第一句话（也就是每次对话的开场白），这些数据来自6342名临床工作者，横跨35个专科，从主治医生、专科医师、住院医生，到执业护士和注册护士都有覆盖。

结果显示，文档与行政类任务占36.2%，知识检索类占28.9%，这两项加起来接近三分之二。而需要真正临床推理的任务，比如治疗方案制定、诊断鉴别、检验结果解读，加在一起也只有14.3%。

文档与行政类具体是什么意思?

就是让AI帮忙写出院小结、写病历、总结病历、回复病人通过医院系统发来的消息。这类请求里，68.9%跟某个具体病人有关，95.6%是要求生成一段文字。

这个发现其实跟之前斯坦福大学对自己医院内部AI助手的研究结果是吻合的，那边的系统也是主要被用来写作和查资料，而斯坦福另一个跟电子病历系统集成的工具ChatEHR，主要用途是做病历总结和病历审阅。

这说明一件事：医生对AI最大的需求，不是让它替自己做出诊断决策，而是让它帮自己处理那些耗时又重复的文书工作。

这其实跟之前的时间动作研究结果能对上。有研究专门跟踪医生一天的时间分配，发现大量时间被电子病历和行政文书占据。护士的时间动作研究也类似。AI助手被医生拿来写文书，某种程度上说明这个工具正好戳中了一线临床工作者最痛的那个点，病历书写负担太重了。

如果你是一个每天要接诊二三十个病人的医生，下班后还要花一两个小时补病历，那你会怎么用手头这个AI工具?大概率不是拿它来讨论疑难病例的鉴别诊断，而是让它帮你把刚才跟病人聊的内容整理成一份规范的出院小结。

这就是为什么诊断类查询只占3.7%，不是因为诊断不重要，而是因为诊断这件事本身就需要医生亲自动脑子，AI能帮上忙的空间有限，但文书工作不一样，那是纯粹的体力活加格式活，正好是AI最擅长的。

风险藏在哪里

统计完任务类型之后，研究团队做了一件更关键的事：评估每条提问背后潜藏的风险。

他们设定了一个标准，假设医生拿到一个错误答案后直接照做了，会造成多大的伤害。这个评分标准参考了美国医疗研究与质量局（AHRQ）的伤害分级量表，分成minimal（轻微）、low（低）、moderate（中等）、high（高）、critical（严重）五个等级。

结果显示，13.2%的提问被评为高风险或严重风险。这些高风险提问高度集中在特定任务类型上。

药物信息类查询只占全部提问的14.1%，却贡献了38.8%的高风险/严重风险查询，以及超过一半的严重风险查询。治疗管理类查询占比只有6.2%，却贡献了21.2%的高风险查询。

更有意思的是意图分析。研究者把提问的12种意图归并成5组，发现属于“做决定或核实”这一组的提问（比如确认某个剂量、核实一个临床判断是否正确）风险最高，达到50.2%，远高于其他几组的3.9%到9.5%。

这个发现背后的逻辑其实不难理解:一个医生如果只是想了解某个概念是什么，答错了顶多让他多查一次资料；但一个医生如果是在问"这个剂量对吗"，说明他已经在准备执行这个决定了，如果AI给出的答案是错的，而医生信了,后果可能是真的会发生在病人身上的。

研究团队还做了一个很细致的分析，看看能不能仅凭提问文本本身的特征（而不需要知道任务类别）就提前预测出这条提问是不是高风险。他们用了11个可以直接从文本里观察到的特征，比如是否提到具体病人、是否是紧急情况、是否写了具体剂量、是否用了医学缩写等等，建了一个简单的逻辑回归模型，交叉验证后AUC达到0.78。

AUC：Area Under Curve，一个衡量分类模型区分能力的指标，取值在0.5到1之间，越接近1说明模型区分两类样本的能力越强

这意味着，一个相对简单的系统，光靠扫一眼提问里有没有"病人具体信息""紧急""剂量"这些关键词，就能相当准确地判断出这条提问是不是需要格外小心。但研究者也诚实地指出了局限：如果要把90%的高风险查询都筛出来，会连带着把60%的所有查询都标记为需要审查，这个假阳性率相当高。

这就好比机场安检，如果你把检测灵敏度调得特别高，确实能抓住几乎所有危险品，但代价是绝大多数无害的充电宝、水杯都会被拦下来重新检查，排队时间直线上升。灵敏度和误报率之间，永远是一个权衡，没有免费的午餐。

超过三分之一的问题根本答不好

这篇论文里另一个让人印象深刻的数字是：36.1%的提问，按照医生原本提问的方式，根本没法被好好回答。

这背后的原因，是提问本身缺少回答所需要的关键信息。22.2%的提问需要病人的具体病历信息或者医院内部的制度信息（比如用药目录、医嘱套餐、诊疗流程），但这些信息压根没有包含在问题里；另有12.6%的提问需要查阅最新的医学文献证据，而AI的知识可能是过时的。

这个比例随着风险等级升高而急剧上升：轻微风险提问里只有4.3%缺少必要信息，但到了严重风险这一档，这个数字飙升到72.7%。

研究者据此给出了一套"最安全应对方式"的判断标准，分成五档：直接回答、先检索权威资料再回答、向医生反问澄清、转交给人类专家处理、拒绝回答。

数据显示,61.2%的提问适合直接回答，26.8%的提问最安全的方式其实是反问澄清，12%需要先检索资料再作答,而转交人类专家或直接拒绝回答的情况加起来不到千分之一。

但真正值得警惕的是高风险提问的分布：84.5%的高风险或严重风险提问，最安全的应对方式都不是直接给出答案，其中60%应该先反问澄清。

这就像你去药房买药，如果你只是问"布洛芬一般怎么吃"，药师可以直接告诉你常规用法。但如果你说"我这个病人正在吃华法林，现在想加一个新药，能不能一起吃"，一个负责任的药师不会立刻甩出一个答案，他一定会先问你病人的肾功能怎么样、现在用的具体剂量是多少、有没有其他基础病。

缺了这些信息就贸然给答案，哪怕答案听起来很专业，也可能是在错误的前提下给出的正确废话。

现在大部分部署的AI助手，恰恰是不管问题问得完不完整，都会老老实实给出一个答案，很少主动反问。这篇论文的数据等于在说，这个行为模式本身，可能就是当前AI医疗助手设计上最大的安全隐患之一。

测评题库到底差在哪

说到这里，论文最核心的部分出现了：研究团队把这套同样的分析框架，用在了业界常用的58个公开AI医疗测评题库上，这些题库来自13个主流评估体系以及各大前沿模型（比如GPT系列、Gemini系列）发布技术报告时引用的测评集，团队把它们打包称为"临床AI基准图谱"（Clinical AI Benchmark Atlas，简称CABA）。

结果显示，这些题库的任务构成，跟真实医生提问的任务构成之间，中位数只有31%的重合度。

而研究者给出了一个参照线：如果把题目完全平均分配到十个任务类别里（也就是什么都不偏重），重合度也能达到55%。

也就是说，现有的大多数测评题库，比完全随机均匀分布的假想题库，跟真实世界的贴合度还要低。

更扎眼的是，这些题库的中位数里，文档与行政类提问的占比是0%，而这类提问在真实使用中占了36.2%。58个题库里，只有13个的文档类题目占比超过5%。

被用在前沿模型技术报告里的12个测评集，情况稍好一些，跟真实用法的重合度中位数是40%；但那些本来就宣称要贴近临床实践设计的题库（比如MedHELM、BRIDGE、ClinicBench、HealthBench这几个体系下的29个子题库），重合度中位数也只有35%，跟没有专门设计贴近性的题库相比，统计上并没有显著更好。

研究者挑了5个题库做深入对比，其中两个是经典的医学考试型题库：MedQA（美国执业医师资格考试风格题库）和MAST体系下的脚本一致性测试。这两个题库里，诊断类题目分别占48%和56.3%，而真实用法里诊断只占3.7%。文档类题目在这两个题库里几乎是0。

这些考试型题目还有一个特点：它们几乎都是信息完整的，MedQA里只有0.7%的题目缺少必要信息，而真实提问中这个比例是22.2%。

这意味着什么?意味着一个AI系统如果只在MedQA这种题库上刷出高分，这个分数几乎没法告诉你它在真实临床场景里，面对一个信息不完整、带着缩写、夹杂病人隐私信息的真实提问时，到底能不能靠谱地工作。

这就像用一本标准答案清晰、题干完整的数学习题集去考察一个人解决实际生活问题的能力。习题集里从来不会出现"小明有若干个苹果，具体多少不知道"这种残缺条件，但生活中的决策恰恰经常是在信息不全的情况下做出的。如果一个人只擅长做那种条件给得明明白白的题，遇到真实世界里缺斤少两的信息，可能完全不知道该怎么下手，而习题集满分这件事，根本不会暴露这个弱点。

另外三个由临床医生实际撰写的题库（HealthBench Professional、Real-POCQi、NOHARM）相对更贴近真实情况，特别是HealthBench Professional，是唯一一个覆盖了所有十个任务类别的题库，文档类题目占到25.5%。但这三个题库普遍偏重咨询类和高风险场景，高风险/严重风险题目占比在34.5%到54.5%之间，远高于真实数据里的13.2%，某种程度上又走向了另一个极端，过度集中在了疑难和危急的情况上。

数据背后不只是统计，还有验证

这里要提一下这篇论文在方法论上的一个细节，就是他们怎么保证127833条真实提问的打标签工作是可信的。

毕竟20个维度、十万多条数据，不可能全靠人工来标注，论文里用的是GPT-5.6这个模型本身来做自动标注。但问题是，如果连贴标签的工具本身都不可靠，那整个研究的地基就是歪的。

于是研究团队先做了一轮验证：随机抽取100条真实提问，找7名医生，每条提问由其中3人独立打标签，同时AI也用同一套标注指南打一遍标签，然后互相对比。

结果发现，在23个需要主观判断的字段上，AI标注结果和一个"留一法"构建的参考标准之间的匹配率是84.6%，而人类医生之间互相比较的匹配率是83.0%，两者基本持平，AI甚至略高一点。

留一法：一种验证方法，每次把某个评分者先“藏起来”，用剩下其他评分者的共识结果作为参考标准，再看被藏起来的那个评分者或者AI模型的打分跟这个参考标准有多接近

但也有一个明显的偏差：AI在判断"风险等级"这件事上，比人类医生更谨慎。它把24%的验证集提问标记为高风险或严重风险，而三位医生的多数共识只把6%标记为高风险。换句话说，AI系统在判断风险这件事上，更倾向于"宁可错杀，不可放过"。

这提醒我们一件事：即使是这篇论文本身用来生成结论的自动标注系统，也存在系统性偏差，研究团队没有回避这一点，而是老老实实把这个偏差量化出来，并且在正文里明确说明，13.2%这个高风险占比，应该被理解为一个偏保守的上限估计，而不是精确值。

这种坦诚其实挺难得。很多研究会倾向于把自己的工具包装得无懈可击，但这篇论文直接告诉你：我们的测量工具有偏差，偏差有多大，偏差往哪个方向偏，自己心里要有数。

专科之间的边界其实很模糊

论文里还有一个挺有意思的发现，跟专科划分有关。

研究团队把各个专科的提问内容，按照"这个问题本应该归哪个科室管"来重新归类，结果发现，38647条能明确归类到某个专科的提问里，有43.9%其实问的是其他科室管辖范围内的问题。

具体到科室，有些专科的"越界"比例特别夸张：眼科和神经外科，超过80%的提问其实问的是别的科室的事情；而重症医学科和儿童青少年精神科，这个比例只有大约10%。

这说明什么?说明一个专科医生平时面对的问题，远远超出自己的专业边界。眼科医生可能会被问到心血管用药的问题，神经外科医生可能会被问到内分泌代谢的问题。

这对那些想做"专科专用AI工具"的开发者来说，是个值得深思的信号。如果你只针对眼科医生的专科问题去训练和优化一个AI模型，那这个模型可能会漏掉这个科室实际提问里一大半的内容，因为这些提问压根不是眼科问题。

这就像给外科医生专门定制一套只讨论手术刀法的培训教材，结果发现他日常工作里大量时间是在处理病人的糖尿病用药调整和术后感染的抗生素选择，跟手术刀法关系不大。专科的边界在培训教材里很清楚，在真实工作里却模糊得多。

这项研究的局限

研究团队在论文最后也坦率列出了这项研究的边界。

这项研究只覆盖了一个医疗系统、一个AI助手，不同医院的科室构成、人员配置、工具设计都会影响最终的任务分布。他们也没法观察到医生是不是还用了别的工具，比如网页搜索、专业数据库，或者个人账号下的ChatGPT，所以这里统计出来的任务分布，可能只反映了医生愿意拿给这个特定工具处理的那部分问题，而不是他们全部的AI使用行为。

另外，研究只分析了每次对话的第一句话，如果医生后续追问了更多信息，这部分内容是没有被纳入统计的。这也解释了为什么有9%的提问"无法识别出具体请求"，很多情况其实是医生先粘贴了一大段病历内容，真正的问题是在后面几轮对话里才问出来的。

还有一点很关键：这项研究只统计了提问本身潜藏的风险，没有去看AI助手实际给出的回答是不是真的错了。换句话说，这是在评估"问题有多危险"，而不是"AI答错的概率有多高"。这两者是不同的事情。

写在后面

读这篇论文的过程中，最触动我的其实不是那些百分比本身，而是研究团队做这件事的方式。

他们没有去指责任何一个具体的测评题库做得不好，而是用一套统一的、经过医生验证的标准，老老实实把真实世界的数据和题库数据放在同一把尺子下量了一遍，让数字自己说话。这种克制挺难得的。

一个细节值得单独拿出来说：诊断类任务在真实使用中只占3.7%，但论文提到，诊断一直是过去几年AI医疗研究投入最密集的方向之一，占了已发表评估研究的五分之一左右，两个经典考试型题库里诊断题目的占比更是接近一半。

这个落差意味着什么?意味着整个领域过去投入的大量研究精力，可能一直对准的是一个在真实工作负荷里占比很小的任务。不是说诊断不重要，诊断失误的后果确实可能很严重，但如果资源分配和真实需求长期脱节，这件事值得整个领域停下来想一想。

还有一点让我印象很深：高风险提问里有一半以上集中在"核实"这个动作上，也就是医生已经有了一个判断，只是想让AI帮忙确认一下。这种"确认型"提问背后，往往意味着医生马上就要照着这个判断去执行了。一个研究团队能把这种细微的意图差异从海量文本里提炼出来，本身就说明，理解"人到底想干什么"这件事，比单纯判断"这句话问的是什么主题"要难得多，也重要得多。

这篇论文留下了一个没有被回答的问题：如果现有的测评体系跟真实使用场景差这么多，那些已经上线、正在被医生每天使用的AI助手，它们真实的表现到底怎么样?这件事目前没人系统测过。

这或许才是整个故事里，最值得继续追问下去的部分。

Q&A

Q1：这篇论文发现医生最常用AI医疗助手做什么？

A：文档与行政类任务（写病历、出院小结、回复患者消息）和知识检索类任务加起来占了近三分之二的使用量，而诊断类提问只占3.7%，远低于大众预期。

Q2：现有的AI医疗测评题库和医生真实提问差距有多大？

A：研究显示58个公开测评题库跟真实用法的任务构成中位数只有31%重合，甚至低于把题目平均分配到各类别（55%）的假想情况，中位数题库完全不包含文档类提问。

Q3：医生提问中有多少是AI无法安全直接回答的？

A：超过三分之一（36.1%）的提问因缺少病人具体信息、医院内部制度或最新证据而无法被直接回答好，高风险提问中这个比例高达66.8%。