医学影像修复AI：一个模型如何同时读懂PET、CT、MRI、X光七种“方言”

你有没有想过，一个医生要是能同时看懂PET、CT、MRI、X光、OCT、超声、病理切片这七种完全不同的影像，那得是什么水平？

现实是，医学影像修复领域的AI模型长期以来都在走“专科医生”路线。一个模型专门去噪PET图像，另一个专门做CT降噪,再来一个专门给MRI做超分辨率。每个模型只会自己那一亩三分地的活儿，换个任务立马歇菜。这不是因为研究者们懒,而是因为PET、CT、MRI这些模态的成像原理天差地别,PET靠的是放射性核素衰变,CT靠的是X射线穿透,MRI靠的是磁共振信号,物理机制完全不同,训练数据分布也完全不同,想让一个模型通吃,听起来就挺反直觉的。

但2024年前后,情况开始松动。第一批"全能型"医学影像修复模型开始出现,其中AMIR算是开山之作,它用了一种叫混合专家的策略去同时应对三种医学修复任务。这确实证明了统一建模这件事是可行的,但这批早期工作有个共同的思路：想办法把不同任务区分开来,针对每个任务单独设计处理逻辑。用对比学习分类,用视觉提示引导,用专家网络路由,核心逻辑都是"分而治之"。

这篇来自北航等机构的论文,提出了一个叫UniH3（Unifying Hierarchical Homogeneity and Heterogeneity，统一分层同质性与异质性框架）的新方法，它想干一件听起来有点反常识的事：既然大家都在拼命区分任务之间的不同,那有没有可能反过来利用任务之间的相同？

**这篇论文最打动人的一个洞察是：医学影像其实比自然图像更"讲道理"。**

一张猫的照片和一张狗的照片,除了都是四条腿的哺乳动物之外,没太多共同点可利用。但一张PET脑部图像和一张MRI脑部图像,拍的都是同一个人的同一个大脑,骨骼结构、器官轮廓、解剖形态高度一致,只是呈现方式不同罢了。这种解剖结构上的"同质性"，此前基本被所有研究者忽略了。

问题到底难在哪里

先说清楚这件事有多难。

医学影像修复的目标很简单：给一张退化的低质量图像（比如噪声很重的PET扫描）,恢复出一张高质量图像。但难点在于,随着要处理的任务数量增加,模型的学习负担会呈几何级数增长。你让一个模型同时学会PET去噪、CT去噪、MRI超分辨率、X光去噪、OCT去噪、超声去噪、病理图像超分辨率这七件事,它很容易在某些任务上表现得凑合,但没有一个任务做到极致。

更麻烦的是,即便是同一个任务,内部也不是铁板一块。同样是PET去噪,不同医院用的扫描仪不同、患者体质不同、成像协议不同,这些细微差异会造成数据分布上的"暗流",导致模型在优化过程中被不同批次的数据来回拉扯，这叫任务内部的异质性。以往的研究基本只处理了任务之间的大差异,却漏掉了任务内部的这些小分歧。

打个比方，这就像一个班主任只按班级来分组辅导，却忽略了同一个班里学生水平参差不齐的情况。如果只按班级粗放式管理，尖子生和后进生用一样的进度，结果可能是两边都没照顾好。如果不细化到每个学生的具体情况，班级平均分看着还行，但内部差距其实一直在扩大。

模型架构：一个U形的骨架

先看UniH3的整体结构。

它用了一个四层的U形编码解码器作为基础骨架，这种结构在图像修复领域很常见，输入一张低质量图像，先降采样提取特征，再升采样重建图像，中间用跳跃连接把浅层细节传递到深层。

*编码器解码器*：一种常见的深度学习结构，先把输入图像压缩成抽象特征（编码），再把特征还原成图像（解码），中间层次越深，提取的信息越抽象。

在这个骨架之上，UniH3挂载了两个核心创新模块，一个叫层次化同质性记忆（H?M），负责把"共性知识"存起来并按需取用；另一个叫层次化异质性平衡器（H?B），负责在训练过程中动态调节不同任务、不同样本之间的优化节奏，避免有的任务学过头，有的任务学不够。

同质性记忆：给AI一本"解剖学参考书"

先说H?M这个模块，这是整篇论文最有意思的部分。

它的核心想法是：既然高质量的医学图像里藏着大量可复用的解剖结构知识,那能不能在训练过程中把这些知识"提炼"出来,存进一个记忆库里,等模型遇到退化图像的时候,直接去记忆库里查阅相关的干净结构信息，用来指导修复？

*记忆库*：论文中用一个可学习的矩阵结构来存储从高质量图像中蒸馏出的解剖先验知识，分为任务共享槽位和任务专属槽位两部分。

这个记忆库被设计成两层结构。一部分叫"任务共享槽",存的是不同模态之间共通的解剖知识,比如人体骨骼的基本形态、器官的大致轮廓,这些东西不管你是拍PET还是拍CT都用得上;另一部分叫"任务专属槽",存的是某个特定模态内部的共性知识,比如所有PET图像里病灶区域的典型纹理特征。

整个机制分两步走。第一步叫"同质性蒸馏",训练过程中,模型会用一个可学习的查询向量去高质量图像的特征里检索出最具代表性的部分,然后用指数滑动平均的方式,把这些精华信息慢慢积累进记忆库。

*指数滑动平均*：一种更新参数的方法，新信息进来时不是直接替换旧值，而是按一定比例融合，让记忆更新更平稳，不会因为某一批数据的偶然波动而剧烈震荡。

第二步叫"同质性检索",在推理阶段（也就是真正给医生用的时候）,模型拿到一张退化的低质量图像后,会用这张图的特征去记忆库里做一次"查字典"，检索出最相关的干净先验知识，再把这些知识注入到修复过程里。

这里有个细节特别值得琢磨。论文里做了一个可视化实验，看模型在检索记忆库时到底在关注哪些槽位。结果发现，两张PET脊柱图像的token，在查询记忆库时，前十个高分槽位有八个是重合的；而PET脊柱和CT脊柱之间，也有两个槽位重合；但PET脊柱和PET病灶这两种解剖结构完全不同的token，十个高分槽位里一个都不重合。这说明H?M确实学到了有意义的解剖语义关联，而不是瞎存瞎取。

这个设计的意义在哪？如果不这么做会怎样？

传统方法通常是让退化的低质量特征作为"主角"，干净的引导信息只是"配角"，用来做个补充。这就好比你写论文时，把自己七拼八凑的草稿当主稿，专家给的修改意见只是旁注小字。UniH3反过来了，它让高质量的解剖先验成为学习的起点，退化特征反而是需要被修正的对象。这个思路上的翻转，直接体现在了后面要讲的注意力机制设计里。

同质性引导注意力：把"参考答案"焊进计算过程

光有记忆库还不够,得有一套机制把检索到的先验知识真正用进网络计算里,这就是同质性引导注意力（HGA）要解决的问题。

*自注意力*：Transformer模型里的核心计算方式，通过让每个位置的特征去"查询"其他所有位置，计算出一个加权组合，从而捕捉全局关联。

传统的做法是用空间特征变换或者交叉注意力，这两种方法本质上都是把低质量特征当基础,把引导信息当补充,加进去意思一下。论文作者觉得这样不够,他们做了个大胆的设计：在注意力计算的值（Value）部分，直接给恒等矩阵加上正负偏置项，人为地放大高质量先验的自我贡献，压低低质量观测值的贡献。

用数学语言说，普通注意力算的是A乘以V（V是低质量特征值），UniH3算的是A乘以（V加V的高质量先验版本），并且还额外加了一项体现偏好的修正项（先验值减去原始值）。最后为了让模型自己学会该多信任先验、多信任原始输入，又加了两个可学习的通道权重参数。当这两个参数都是零的时候，机制退化回普通自注意力，也就是说这套设计是旧方法的一个超集，不会比原来更差。

这个思路让我想起一个场景。假设你是个刚上手的实习医生，看片子时经常拿不准。一种带教方式是老带教医生在旁边补充几句意见，你还是以自己的判断为主；另一种方式是老带教医生直接把标准答案递到你面前，明确告诉你"这次优先参考我的判断"。如果只用第一种方式，你的判断准确率提升会很慢，因为你潜意识里还是更信任自己那份不靠谱的初步印象。HGA做的正是第二种方式，把可靠的先验信息强行拉到主导位置，减少模型对退化信息的路径依赖。

消融实验也验证了这个设计的价值。在论文的对比实验中，HGA相比传统的空间特征变换和交叉注意力方式，用更少的参数和计算量，拿到了更高的PSNR和SSIM分数。

*PSNR和SSIM*：图像质量评估的两个常用指标，数值越高表示修复效果越接近真实高质量图像，PSNR衡量的是像素级的误差大小，SSIM衡量的是结构相似性。

异质性平衡器：不让优秀生独占老师的注意力

讲完了如何利用共性知识，再来看看UniH3怎么处理任务之间和任务内部的差异。

多任务学习里有个经典难题：不同任务的损失函数量级、收敛速度不一样，训练时很容易出现某些任务"学得快吃得饱"，另一些任务始终"吃不饱"的失衡局面。以前常见的解法叫不确定性加权，简单说就是给每个任务配一个可学习的方差参数，方差越大说明这个任务的损失越不稳定越难学，就自动降低它的权重。

但论文作者指出，这种方法太粗糙了，一个任务只用一个方差参数去描述，完全没法捕捉任务内部因为扫描仪不同、医院不同、患者个体差异带来的细微分布偏移。

所以H?B在原来的任务级方差之上，又加了一个样本级的修正项。总的不确定性等于任务级的全局方差加上一个由轻量级不确定性估计模块预测出来的样本专属修正值，这个模块的输入是低质量图像、模型预测结果和真实高质量图像三者的拼接，并且用了梯度阻断技术，让损失平衡这条支路的学习不会反过来干扰主干修复网络的训练。

这个双层设计打个比方，有点像一个年级主任在做资源分配。如果只按班级平均分来分配辅导资源，某个班平均分低就多给点辅导课，这是任务级的粗放管理。但年级主任要是够细心，还会注意到即使在同一个班里，也有学生因为家庭作业环境不好、身体原因请假多等具体情况，需要单独关照。如果不做这层细分，那些"隐形困难户"永远会被平均数掩盖，长期得不到应有的关注，最终整体成绩的天花板也上不去。

论文里可视化了这个不确定性分布的对比图，传统方法算出来的任务级方差是几根竖直的细线，每个任务对应一个固定值；而H?B算出来的样本级方差是几团有宽度的分布曲线，每个任务内部都存在明显的方差跨度。这个图直观地证明了粗放式管理确实漏掉了很多细节信息。

数据集：五十万对图像撑起的实验场

要验证这套方法有没有用，光靠算法设计说得好听不够，得有足够大的数据集撑腰。

论文团队自己攒了两个大规模基准数据集。MedIR-2D-500K包含50.92万对二维低质量高质量图像，覆盖PET、CT、MRI、X光、OCT、超声、病理七个任务。MedIR-3D-3K包含3522对三维体积数据，覆盖PET、CT、MRI三个任务。这些数据一部分来自公开数据集，一部分来自私有采集，并且私有数据的采集都经过了北航生物医学伦理委员会的审批。

数据集内部还做了细致的退化模拟。比如PET图像的退化是通过对原始listmode数据做十倍剂量下采样来模拟的；CT图像退化是往投影数据里加泊松噪声，模拟四分之一剂量的效果；MRI超分辨率的退化则是把图像转到频域，只保留中心6.25%的低频信息，其余高频部分清零后再转回图像域。这种基于物理成像过程的退化模拟，比简单粗暴地加高斯噪声要更贴近临床真实场景。

实验结果：全能模型追上甚至超过专科模型

来看实际的比拼结果。

在2D全能修复设置下，UniH3在全部七个任务上都超过了对比方法，平均PSNR比第二名AdaIR高出0.21分贝。这个数字看起来不大，但考虑到每个任务的测试集都有几千张图像，这个稳定的提升说明模型不是在个别案例上凑巧赢了，而是系统性地更好。

更让人意外的是单任务对比的结果。按理说，一个要同时兼顾七个任务的全能模型，怎么可能打得过专门为某一个任务量身定做的单任务模型？但实验数据显示，UniH3在单任务模式下反而全面超越了包括MambaIR在内的所有单任务专用模型，平均提升0.15分贝。

论文在讨论部分做了一个特别有说服力的对比图：单任务专用的MambaIR跑到36.75分贝，全能模式下的UniH3反而做到了36.77分贝，两者基本打平甚至略胜一筹；如果拿全能训练好的UniH3模型再针对单个任务做微调，PSNR能进一步冲到36.97分贝。

这说明什么？说明全能模型不仅没有因为要兼顾多个任务而牺牲性能，反而借助跨任务共享的解剖学知识，学到了比单任务模型更扎实的底层表示。这有点反直觉，一般人的默认预期是"专科医生肯定比全科医生更懂某个病"，但这里的数据告诉我们，如果这个全科医生手里有一本足够厚的、跨专科通用的解剖学参考书，他在某些细分领域反而能超过只读过本专科教材的专科医生。

3D任务上的表现同样亮眼。在MedIR-3D-3K数据集的全能修复设置下，UniH3-3D比第二名Restore-RWKV-3D平均高出0.55分贝；在单任务设置下，更是比第二名Spach Transformer高出1.48分贝，这个差距相当可观。

消融实验：拆开来看每个零件的贡献

论文做了大量消融实验，逐一验证每个设计的价值。

把H?M和H?B分别单独拿掉再对比，结果显示只用H?M能把PSNR从基线的36.52提到36.66，只用H?B能提到36.64，两者一起用能提到36.77，说明这两个模块各自有独立贡献，而且是互补的，不是重复劳动。

研究者还把H?M和H?B移植到了Uformer、Restormer、PromptIR、AdaIR这几个已有的主流骨干网络上做测试，结果每个骨干网络加上这两个模块后都有明显提升。这说明这套方法不是只能配合UniH3自家的骨架用，而是一种通用的、可以插拔到其他架构上的增强手段，这对研究领域的实际推广价值不小。

针对H?M内部，论文进一步拆解了任务间同质性和任务内同质性各自的贡献，发现两者都有独立正向作用，联合使用效果最好。针对H?B，同样拆解了任务间异质性和任务内异质性的贡献，结论也是类似的。

后续的工作方向

论文的作者团队本身在医学影像修复这个方向上有不少前期积累，比如更早的AMIR、DRMC、Restore-RWKV等工作，这次的UniH3某种程度上是把之前几篇论文里关于任务路由、多中心适配、高效架构的经验做了一次系统性整合和升级。

论文里提到的一个局限是，目前只覆盖了每个模态的主要退化类型，比如PET只做去噪、MRI只做超分辨率，但现实中同一个模态可能同时存在好几种退化问题，比如CT图像可能既有噪声又有伪影。未来如果要往更通用的方向走，得把每个模态内部的多种退化类型也纳入考虑。

写在后面

读完这篇论文，最触动我的其实不是那些具体的技术细节，而是背后那个转变思路的瞬间。

绝大多数做多任务学习的研究者，第一反应都是想办法把任务区分开，好像任务之间的差异才是问题的核心。但这篇论文提醒我们，有时候真正被忽略的不是"如何区分"，而是"如何利用相似"。这种思路上的翻转，其实在很多领域都有类似的影子，比如教育里因材施教固然重要，但一套好的通识教材同样能让不同水平的学生都受益。

另一个让我觉得挺有意思的细节是那个检索注意力的可视化实验。研究者没有满足于报告一个好看的PSNR数字，而是专门去看模型内部到底在"查阅"什么，验证了两张解剖结构相似的图像确实会检索到相似的记忆槽位。这种愿意打开黑箱去验证机制是否真的按预想工作的态度，比单纯堆砌性能数字更让人信服。

医学影像的世界里，PET看代谢、CT看密度、MRI看软组织，医生们花了几十年才练就同时读懂多种片子的本事。现在一个AI模型试图用一本共享的"解剖学参考书"来加速这个过程，这事听起来简单，但把它做对，可能比想象中难得多。

Q&A

Q1：UniH3是什么？

A：UniH3是一个统一的医学影像修复框架，能用单个模型同时处理PET、CT、MRI、X光、OCT、超声、病理七种不同模态的图像修复任务，核心创新是同时利用了不同任务间的共性知识和差异性管理。

Q2：UniH3的全能模型会不会比专门为单一任务训练的模型效果差？

A：不会，实验显示UniH3的全能模式性能和专用的单任务模型基本持平甚至略胜一筹，如果再针对单任务微调，效果还能进一步提升，说明跨任务共享的解剖学知识反而帮助了单任务表现。

Q3：H?M记忆模块具体存的是什么内容？

A：H?M存储的是从高质量医学图像中提炼出的解剖结构先验知识，分为任务共享槽（存跨模态通用的解剖信息）和任务专属槽（存某个模态内部的特有知识），推理时会根据输入图像检索最相关的先验来指导修复。