微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 LightMIS:一个只用0.1M参数就能做医学图像分割的极简模型

LightMIS:一个只用0.1M参数就能做医学图像分割的极简模型

2026-10-07 11:11
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-10-07 11:11 • 科技行者

你有没有想过,一张256×256的医学影像,要精确圈出里面的病灶区域,到底需要多复杂的模型才能做到?

大部分人可能会觉得,越复杂越好,参数越多越准。这也是过去十年医学图像分割领域的主流思路。从最经典的U-Net开始,研究者们不断给模型加东西:加注意力机制,加Transformer,加多尺度融合模块。模型越堆越大,动辄几千万参数,几十个GFLOPs的计算量。可现实是,很多医院的设备、便携式检测仪、手机端的辅助诊断App,根本扛不住这种规模的模型。

这就带来一个很现实的矛盾:你想要模型足够准,又想要它足够轻,这两者好像天生打架。

这篇论文的团队想做一件挺大胆的事,他们想证明,不用传统U-Net那种"编码器负责压缩、解码器负责一步步放大"的结构,也能做出又准又快的分割模型。他们把这个新模型叫做LightMIS,最小的版本只有0.017M参数,最大的完整版也只有0.131M参数,比很多主流模型小了一到两个数量级。

先搞清楚,这件事到底难在哪

要理解LightMIS的巧妙之处,得先明白传统U-Net类模型是怎么工作的。

U-Net的结构像个字母U,左边是编码器,负责把一张高清图片一层层压缩,同时提取出越来越抽象的语义信息。右边是解码器,负责把这些抽象信息一层层放大回原始分辨率,同时通过"跳跃连接"把编码器里保留的细节信息拉过来补充。这个结构听起来很合理:压缩时抓大的语义,放大时补细节。

但问题就出在解码器上。

解码器: 也就是负责把压缩后的抽象特征逐步还原成和原图一样大小的分割结果的那部分网络结构

解码器需要一层一层地上采样,每一层都要做卷积、做特征融合,这个过程本身就消耗了大量的参数和计算量。研究团队算了一笔账,像nnU-Net这样的经典配置,参数量能到33.472M,计算量高达14.882 GFLOPs。这些资源里,有相当一部分都花在了解码器的逐级重建上。

如果把这个过程想象成盖房子,编码器是往下打地基,一层层往深处挖,把最重要的承重结构留下来。解码器就是根据打地基时的记录,一层层往上砌墙,还要保证每层楼的窗户位置都和地基时期测量的一致。这个过程需要反复核对、反复施工,工程量自然不小。研究者的问题是:能不能不这么盖?能不能地基打完之后,直接根据地基的记录把整栋楼的轮廓一次性浇筑出来,省掉中间来回搭建的工序?

这就是LightMIS想解决的核心矛盾:能不能抛弃这种"层层解码、层层核对"的重建方式,换一种更直接的信息聚合方式,同时还不掉准确率。

LightMIS的解法:不重建,直接对齐后聚合

LightMIS的做法可以概括成一句话:把编码器五个层级提取出来的所有特征,先统一投影到同一个分辨率,然后一次性拼在一起处理,而不是像传统方法那样一层一层往回走。

具体来说,模型的编码器依然是常规套路,输入图像经过五个层级的下采样,每个层级的空间分辨率减半,通道数按配置增加。关键变化发生在编码器之后。

论文设计了一个叫做SAP(Scale-Aligned Projection,尺度对齐投影)的模块,负责把编码器五个层级输出的特征,不管它们原本分辨率差多少,都统一对齐到同一个空间尺寸和通道宽度。对齐之后,这五份特征直接拼接在一起,经过一次卷积压缩,再交给最后的精炼模块处理,输出最终的分割结果。

这就好比五个不同分辨率的地图(卫星图、街道图、建筑轮廓图、门牌号图、室内布局图),传统方法是把它们一张一张叠加,每叠一层都要重新核对边界、重新画线。而LightMIS的做法是,先把这五张地图统一缩放成同一个比例尺,直接铺在一起看一眼全貌,省掉了中间反复核对的步骤。如果不这么做,而是坚持一层层叠加校准,计算量会因为每一层都要单独处理而线性甚至指数级增加,这正是传统解码器慢在哪里的原因。

这个设计带来的直接好处是参数量断崖式下降。因为不需要维护一整套解码器的卷积层,模型省下了大量本该用于逐级重建的参数。

不过,光是把特征拼在一起肯定不够,拼接之后的特征怎么处理,才是决定分割效果好坏的关键。这就引出了论文的第二个核心贡献。

AFC:一套组合拳,让每一层特征都被"深加工"

论文提出了一个叫AFC(Adaptive Fusion Cascade,自适应融合级联)的处理流程,应用在编码器的每一个层级,也应用在最后聚合完的特征上。

AFC的结构分三步走。第一步是AKF(Adaptive Kernel Fusion,自适应核融合)模块,这个模块并不是论文原创,而是从另一篇论文AULUNet里借鉴改造过来的。

AKF的原理是这样的:给定一份输入特征,它会同时用一个普通的3×3卷积核和一个带膨胀率的3×3卷积核(相当于视野更大但计算量不变的卷积)分别处理,然后根据输入特征本身的全局信息,动态算出一个权重,决定这两路结果各占多少比重再融合。

膨胀卷积: 一种通过在卷积核内部插入空隙来扩大感受野的卷积方式,不增加参数量的情况下能看到更大范围的图像区域

换句话说,AKF不是死板地固定用小视野还是大视野去看图像,而是让模型自己判断,这块区域应该更关注局部细节,还是更关注大范围的上下文。这就像一个医生看片子,遇到边界模糊的小结节,会凑近了仔细看纹理;遇到大面积的病变区域,会退后一步看整体形状。AKF做的就是让模型自动决定"凑近看"还是"退后看",而且这个决定是根据每张图片实时调整的,不是训练完就固定死的规则。

AFC的第二步,也是这篇论文真正的原创部分,叫做PRF(Progressive Receptive Fusion,渐进式感受野融合)。

为什么需要这个模块?因为LightMIS为了追求极致轻量,每一层的通道数都被压缩得很窄。窄通道意味着模型能表达的信息量有限,就像给你一支只有三种颜色的画笔,让你画出一幅精细的水彩画,肯定捉襟见肘。PRF要做的,就是在不增加整体网络宽度的前提下,想办法把这窄窄的通道"榨"出更多信息量。

PRF的具体做法分三步。首先把输入通道数临时扩大两倍(用完就还原,不会增加模型的永久负担),然后把扩大后的特征切成三份,分别用三种不同的卷积方式处理:一份用普通3×3卷积抓局部细节,一份用带膨胀率2的3×3卷积抓稍微大一点的范围,还有一份用5×5的大卷积核抓更大范围的上下文。

这一步已经很像论文里提到的其他轻量模型的常见做法。但PRF真正的创新在第三步,叫做渐进式跨分支信息传递。

具体来说,第一路处理完之后,会把它的结果在通道维度上做一次平均,压缩成一张单通道的空间响应图,加到第二路的输入上,再让第二路去做膨胀卷积。第二路处理完之后,同样的操作再传给第三路。这样一来,信息不是三路各自独立处理完再简单拼接,而是像接力赛一样,前一棒选手把关键情报传给下一棒,让后面的分支在处理前,已经知道前面看到了什么。

这个通道平均的操作很巧妙,它把一份特征压缩成一张与通道数无关的空间图,这样无论两个分支的通道数是否一致,都能顺畅地传递信息,不需要额外做维度匹配的操作。

如果把这三路处理想象成三个侦探分别负责调查案件的不同线索,普通做法是三人各自破案,最后把线索简单汇总。而PRF的做法是,第一个侦探查完之后,把关键发现的一张概要图纸留给第二个侦探参考,第二个侦探在这个基础上继续深挖,再把自己的发现留给第三个侦探。这样每个侦探都不是从零开始,而是站在前人的基础上往前走。如果不做这种接力传递,各分支完全独立工作,实验数据显示模型在Kvasir-SEG数据集上的Dice分数会从87.52%降到87.41%,看起来差距不大,但在ASSD这类边界距离指标上差距会更明显,说明缺少这种信息传递,模型对边界的把握会打折扣。

AFC的第三步,是用一个残差版本的AKF模块再做一次精炼,输出结果会和输入做加权相加,权重是一个初始值很小(0.05)的可学习参数,让模型自己决定这次精炼要占多大比重,训练初期以稳定为主,训练后期根据需要自己调整。

三种规格,覆盖不同场景

论文没有只做一个模型,而是提供了三档配置:LightMIS-T、LightMIS-S和完整版LightMIS,三者结构完全一样,只是编码器通道数和聚合宽度不同。

最小的LightMIS-T只有0.017M参数,0.099 GFLOPs,几乎可以塞进任何嵌入式设备。中间档LightMIS-S是0.038M参数,0.195 GFLOPs。完整版LightMIS是0.131M参数,0.575 GFLOPs,代表了这个系列里精度和效率平衡最好的选择。

这种分档设计其实很像手机厂商推出的"标准版、Pro版、Max版",同一套设计语言,根据不同预算和场景给出不同的配置选项,而不是每个场景都重新设计一套架构。

实验结果:小身材,能打硬仗

论文在六个公开数据集上做了系统性测试,覆盖视网膜血管(DRIVE)、胃肠道息肉(Kvasir-SEG)、细胞核(DSB18)、乳腺超声(BUSI)、皮肤病变(ISIC-2017和ISIC-2018)五种不同的成像模态。所有对比模型都在同一套nnU-Net训练协议下从零训练,保证比较的公平性。

结果显示,完整版LightMIS用0.131M参数和0.575 GFLOPs,跨五种模态的宏平均Dice分数达到86.71%,IoU达到78.99%。作为对比,参数量是它十倍以上的Mobile U-ViT(1.390M参数)拿到了86.75%的Dice和79.07%的IoU,只比LightMIS高出0.04和0.08个百分点。

这个差距小到什么程度?换算一下,86.71%和86.75%的差异,大概相当于在100张图片里,两个模型的分割准确程度几乎认不出谁更强,但LightMIS的参数量只有Mobile U-ViT的十分之一不到,GFLOPs也少了超过八成。

在具体数据集上,LightMIS在DRIVE数据集上拿到了所有对比模型里最高的Dice(82.15%)和IoU(69.82%),这说明它在处理视网膜这种细而密集分叉的血管结构时表现最好。论文还专门做了配对统计检验,结果显示LightMIS相对nnU-Net、nnWNet、Mobile U-ViT三个基准模型,只有在DRIVE数据集上的优势通过了严格的统计显著性检验,其他数据集上的差异不能被认为具有统计学意义。这个诚实的表态挺难得,很多论文喜欢把小数点后的微弱优势包装成决定性突破,这篇论文选择老实承认哪些优势是"看起来领先",哪些是"统计上站得住脚"。

在DSB18细胞核分割任务上,LightMIS的边界距离指标(HD95和ASSD)表现最好,说明它对细胞边界的定位精度更高。

手机上真的能跑起来吗

参数小、计算量低,不代表在真实设备上一定跑得快,这是很多论文容易忽略的一点,但这篇论文专门做了验证。

研究团队把模型转换成LiteRT格式(谷歌的移动端推理框架),部署到一台搭载联发科MT6769芯片、Arm Mali-G52 MC2 GPU的Moto G24 Power手机上,测试真实的端侧推理延迟。

结果显示,LightMIS-T的中位延迟是53.31毫秒,LightMIS-S是76.22毫秒,完整版LightMIS是138.31毫秒,三个版本都实现了100%的GPU算子覆盖,也就是说整个推理过程完全跑在GPU上,没有任何操作需要退回CPU处理。相比之下,Mobile U-ViT在同一设备上需要654.58毫秒,nnWNet需要1453.26毫秒,慢了一个数量级还不止。

但论文里有一个特别有意思的发现,UNeXt和完整版LightMIS的理论计算量几乎一样(0.577对0.575 GFLOPs),两者也都实现了100%的GPU覆盖,但LightMIS在手机上的延迟却是UNeXt的三倍多(138.43毫秒对42.14毫秒)。

GFLOPs: 每秒十亿次浮点运算,常用来衡量模型的理论计算量,但不完全等于实际运行速度

这说明一个很多人容易忽略的事实,理论计算量相同,不代表实际跑起来速度一样。真正决定手机端速度的,还有分支数量、内存搬运开销、算子调度的启动成本,这些"看不见"的工程细节。这就像两辆车百公里油耗账面数据一样,但一辆走盘山公路要不断换挡刹车,一辆走高速公路一脚油门到底,实际到达目的地的时间可以差出很多。如果只看理论计算量就判断哪个模型更适合部署,很可能会掉进这个坑里。

论文里还有个反差案例,TinyU-Net的GFLOPs不算高,但因为设计中有些操作不被移动端GPU代理直接支持,需要退回CPU执行,导致只有54.08%的算子跑在GPU上,214个节点要退回CPU处理,实际延迟高达2547.58毫秒,比LightMIS慢了将近五十倍。

消融实验:每个设计到底值不值

论文花了不小的篇幅做消融实验,逐一验证每个设计决策是否真的有用,这个态度值得肯定。

先看编码器深度。论文测试了从两层到六层不同深度的编码器,发现五层是效果和参数量的最佳平衡点。少于五层,模型能力明显不够,比如两层编码器在BUSI上的Dice只有69.97%,比五层版本低了将近10个百分点。六层编码器参数量翻倍到0.036M,但效果反而略微下降,说明这不是"越深越好"的简单关系。

再看PRF模块内部设计。论文对比了"用统一的3×3卷积代替三种不同感受野"、"去掉渐进式跨分支传递"、"去掉通道扩张"这几种简化版本,发现每个组件的贡献在不同数据集上表现不完全一致,但整体来看,完整的PRF设计能拿到最好的综合效果。

论文还做了一个特别扎实的实验,叫做"参数匹配对比"。因为直接比较不同结构,很容易出现"效果好是因为参数更多"这种混淆结论,所以研究者专门把各种候选的预测头设计的参数量都调整成完全一致,再比较效果。结果显示,SAP加最终AFC精炼的组合,在参数完全相同的前提下,依然比"只用最深层特征"、"简单对齐求和"、"简单拼接"、"FPN风格融合"、"标准U-Net解码器"这几种替代方案效果都要好。特别是"只用最深层特征"这个极端简化版本,在DRIVE数据集上的Dice暴跌到52.62%,比完整方案低了将近30个百分点,这说明浅层的细节特征对于分割像血管这种细长结构确实至关重要,不能只依赖最抽象的深层语义。

这个实验其实回答了一个很关键的问题:LightMIS的优势到底是来自参数量的巧妙分配,还是纯粹靠某个模块堆出来的?答案是,即使把参数量控制到完全相同,这套设计思路依然更有效,说明真正起作用的是"如何组织信息流动"这件事,而不只是"用了多少参数"。

论文的坦诚之处:它承认了什么

这篇论文有一点让人印象比较深,它专门用一整节篇幅列出了研究的局限性,而不是把这些藏起来。

比如论文明确说,DRIVE、ISIC-2017、ISIC-2018这几个数据集在原始的官方划分里是有公开的训练集和测试集的,但论文里把这些划分合并起来重新做五折交叉验证,这意味着报告的结果并不等同于官方挑战赛的测试集成绩。

论文还提到,除了DRIVE之外,其他数据集的图片都被直接缩放成256×256,没有保持原始长宽比,这可能会轻微改变病灶或解剖结构的几何形状,具体影响还没有被评估。

另外,移动端的测试只覆盖了一款手机、一种GPU型号、一套软件栈,测的是模型在GPU代理下的执行延迟,不是完整应用的端到端延迟,也没有考虑长时间运行后的设备发热、能耗预算这些真实使用场景中会遇到的问题。

这种把"我们还没做到的事"写清楚的态度,其实比一味强调优势更有说服力。毕竟任何一篇论文的价值,不在于它有没有短板,而在于它对短板是不是诚实。

写在后面

读完这篇论文,最触动我的其实不是那些漂亮的Dice分数对比表格,而是那个手机端延迟的反常案例:UNeXt和LightMIS理论计算量几乎相同,实际速度却能差出三倍。

这提醒我一件容易被忽略的事,在移动端和边缘设备的世界里,纸面上的GFLOPs、参数量,这些学术论文里最常见的效率指标,跟真实用户会感知到的"卡不卡"之间,隔着一层工程实现的迷雾。一个模型如果设计时全靠理论计算量做优化目标,很可能在真实部署时栽跟头,栽在那些论文摘要里根本不会提到的算子兼容性、内存搬运模式这些细节上。这也解释了为什么这篇论文会专门花力气去做端侧的LiteRT转换测试,而不是止步于GPU上的FLOPs对比,这是一种更负责任的工程态度。

另一个让我反复琢磨的点,是论文里那个"移除解码器"的思路。传统认知里,U-Net的编码器解码器对称结构几乎是分割任务的默认答案,就像盖房子必须打地基砌楼层一样天经地义。但LightMIS证明了一件事,那个逐级重建的过程,本身可能不是必需品,而只是过去大家习惯了的一种实现方式。当你换个角度,把"重建"换成"对齐后一次性聚合",效果不但没崩,反而在某些任务上表现更好。这种对"约定俗成"提出质疑的勇气,可能比具体的技术细节更值得记住。

如果一个领域里公认的最佳实践,其实只是没人认真质疑过的历史惯性,那还有多少个"解码器",正等着被重新审视?

Q&A

Q1:LightMIS是什么?

A:LightMIS是一种超轻量级的医学图像分割模型,最大版本只有0.131M参数,它抛弃了传统U-Net的逐层解码结构,改用直接对齐聚合编码器特征的方式,在保持高准确率的同时大幅减少了参数量和计算量。

Q2:LightMIS和Mobile U-ViT相比谁更好?

A:两者在六个数据集上的宏平均表现非常接近,Mobile U-ViT的Dice为86.75%,LightMIS为86.71%,差距仅0.04个百分点,但LightMIS参数量只有Mobile U-ViT的十分之一不到,计算量也少了超过八成。

Q3:LightMIS能在手机上流畅运行吗?

A:可以。在搭载Arm Mali-G52 MC2 GPU的手机上,LightMIS三个版本都实现了100%的GPU算子覆盖,完整版延迟为138.31毫秒,最小版本仅需53.31毫秒,明显快于同类的Mobile U-ViT和nnWNet。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-