卫星拍到的云，为什么一直没有一个通用的去云模型？

你有没有想过一个问题：卫星每天绕地球转好几圈，拍下无数张地表照片，但这些照片里经常有一大片白花花的东西挡住视线。

没错，就是云。

对搞农业监测、灾害预警、城市规划的人来说，云挡住的不只是风景，是关键信息。地表某块农田是不是旱了，某片森林是不是着火了，某个城区的违建有没有扩张，这些问题的答案全都被云层盖住了。于是"去云"这件事，成了遥感图像处理里一个绕不开的硬骨头。

但这里有个让人意外的现实：到今天为止，去云这件事依然没有一个"万能钥匙"。你去搜学术论文会发现，几乎每一篇去云方法的论文，都是针对某一个特定数据集训练出来的模型。换句话说，这个模型只认识Sentinel-2卫星拍的照片，换成Landsat-8就歇菜了；这个模型只会处理单张云图，给它一组多时相的时间序列数据就懵了；这个模型习惯了用SAR雷达数据做辅助，突然没了SAR信号就抓瞎。

这就像你请了十个厨师，每个人只会做一道菜，而且这道菜必须用指定品牌的锅、指定产地的食材才能做。换一口锅，这道菜就做不出来了。餐厅要是想做全套菜单，就得雇十个厨师，各自守着自己的那一亩三分地。

这篇来自韩国科学技术院（KAIST）的论文，就是想解决这个问题。他们提出的模型叫GeoCR，目标很直接：造一个真正的"通才"去云模型，一个模型能吃下各种卫星数据、各种波段配置、有没有SAR都行、单张还是多张时序照片都行。

这件事难在哪

要理解GeoCR的难度，得先搞清楚"异构数据"这个概念到底有多乱。

异构观测:指的是来源不同、格式不同、信息维度不同的观测数据。在这篇论文的语境里，具体表现为：有的卫星数据只有RGB三个颜色通道，有的数据有十几个波段（包括人眼看不见的近红外、短波红外等）；有的场景只给一张被云挡住的照片，有的场景给了同一地点在不同时间拍的好几张照片；有的还额外配了SAR雷达数据，有的完全没有。

光是论文里列出的十个训练数据集，来源就横跨Sentinel-2卫星、Landsat-8卫星、Jilin-1高分辨率商业卫星，甚至还有谷歌地球的图像。这些数据集之间的差异远不止"长得不一样"这么简单，它们的波段数量、空间分辨率、辐射定标方式、云层覆盖的时间跨度，全都不同。

过去的做法是什么呢？每来一个新数据集，就重新训练一个专属模型。这样做的问题显而易见：第一，每个模型只能在自己的"地盘"里打转，没法复用到别的场景；第二，训练成本高得离谱，十个数据集就要养十套模型；第三，当你遇到一个新场景，比如某个地区既有RGB又有SAR，但训练数据里没见过这种组合，模型直接抓瞎。

那么问题来了：能不能让一个模型同时学会处理RGB和多光谱数据，同时适应单张和多张时序输入，同时兼容有SAR和没SAR的情况？

GeoCR的回答是：能。而且这是第一次有人系统性地做到这件事。

如何让一个模型看懂十种不同的数据

GeoCR的核心思路分成两步走，论文里管这叫两阶段预训练。

第一步要解决的是"翻译"问题。不同卫星拍出来的照片，哪怕都是地表影像，它们的数据结构也完全不一样，就像十个人说着十种方言。GeoCR的做法是，先找一个已经训练好的、专门处理RGB图像的自编码器作为底座。

自编码器:一种神经网络结构，由编码器和解码器组成，编码器把图像压缩成一个更紧凑的"潜在表示"，解码器再把这个潜在表示还原成图像，这个压缩再还原的过程能学到图像里最核心的空间结构信息。

这个预训练底座来自FLUX.2，一个成熟的图像生成模型。研究者的想法是，不管是RGB三通道，还是十波段的多光谱数据，还是SAR雷达数据，它们本质上描述的都是同一片地表的空间结构，边界、纹理、地物轮廓这些东西是共通的。真正不一样的，只是每种数据的"入口"和"出口"格式。

于是他们设计了一套叫做输入输出"stem"（词干）的轻量级接口。

Stem:一个只包含单层卷积的轻量适配模块，负责把不同格式的原始数据转换成统一的潜在空间表示，或者反过来把统一表示转换回原始数据格式。

具体做法是：保持预训练模型的编码器和解码器主干完全冻结，不去动它，只针对非RGB波段（比如十波段多光谱）和SAR数据，单独训练一组很小的输入输出stem。训练目标很简单，让这组stem学会把自己的数据格式和预训练好的RGB潜在空间对齐，用重建误差来约束。

这里有个细节值得停下来想一想：为什么要把预训练主干死死冻住，只训练这几层薄薄的接口？

如果不这样做，而是让整个模型从头学习处理十种数据格式，会发生什么？训练成本会直线飙升，而且更麻烦的是，模型很可能在学习新格式的过程中，把原本在大规模RGB图像上学到的、关于自然图像结构的通用先验知识给冲掉了。这就好比一个精通中文的翻译官，你非要让他重新从零学习所有语言的语法规则，而不是教他认识新词汇、建立对照表，结果可能是他把母语的语感也搞乱了，什么语言都说不利索。

保持主干冻结，只训练接口，相当于让这位翻译官保留原有的语言直觉，只是教他认识新的词汇表。这样训练出来的stem参数量极小，整个新增的接口只有5万多个参数，却能让非RGB数据的重建质量（用PSNR衡量的还原精度）从18.84分贝猛增到40.08分贝，提升超过21分贝。SAR数据的重建质量也从18.40分贝提升到29.14分贝，提升了近11分贝。

PSNR:峰值信噪比，一种衡量图像重建质量的指标，数值越高说明重建出来的图像和原始图像越接近，误差越小。

这组数据说明一件事：哪怕只训练这几层薄薄的接口，模型也能把陌生的数据格式"翻译"成它熟悉的语言，而且翻译得相当准确。

一个生成器，同时处理多种输入流

解决了"翻译"问题，接下来是更核心的挑战：怎么让一个生成模型同时理解单张云图、多张时序云图、有没有SAR这些截然不同的输入配置，并且都能输出干净的去云结果？

GeoCR在这里复用了一个叫flow matching（流匹配）的生成技术框架，并且是从一个预训练好的图像flow transformer（图像流变换器）出发做微调，而不是从零训练。

Flow matching:一种生成模型训练范式，核心思路是学习一个"速度场"，描述如何从随机噪声逐步演变成目标图像，训练时只需要让模型预测噪声到目标之间的线性路径速度即可，推理时沿着这条路径一步步生成结果。

模型结构上，GeoCR把每一路观测数据都当成一个独立的"条件流"。如果有K张云图输入，就有K条云图条件流；如果有SAR，再加一条SAR条件流；加上要生成的目标本身，一共是1+K+1条并行的信息通道。这些通道通过多流模块的联合注意力机制相互交流，让模型能同时参考多个信息源来判断该怎么去云。

这个设计思路其实很贴近人类处理信息的直觉。想象你是一名侦探，要还原一个被浓雾遮挡的犯罪现场。如果只有一张照片，你只能靠猜；但如果你手里有三个不同时间点拍的照片，再加上一份雷达测绘图，你会下意识地把这几份证据放在一起比对，哪张照片的哪个角落露出了线索，雷达数据在哪个区域提供了结构支撑，这些信息会被你综合起来，而不是孤立地分开看。如果不这样设计，强行把所有信息压缩成一条输入流，模型可能会在信息融合的过程中丢失掉某些观测独有的细节，就像侦探把三张照片叠加在一起冲印成一张，反而让关键线索变得模糊。

训练时还有个很聪明的小设计，叫条件随机丢弃。所有输入条件会以10%的概率被替换成一个"空"标记，SAR单独以30%的概率被丢弃，非RGB波段以5%的概率被丢弃。这么做是为了让模型别过度依赖某一种特定的输入组合，学会在信息不完整的情况下依然给出合理的去云结果，这其实是在模拟真实世界里"数据不齐全"的常态。

从十个数据集到一个共享先验

GeoCR的训练语料规模相当可观，整合了十个去云数据集的训练集，总共88万3331张无云目标图像。这些数据横跨Sentinel-2、Landsat-8和高分辨率商业卫星，覆盖了从13波段的多光谱数据到普通8位RGB图像的各种格式，有的带三张时序云图，有的带SAR，配置五花八门。

把这些异构数据揉在一起训练出来的东西，论文里称之为"共享去云先验"。

共享先验:指模型从大规模、多样化的数据中学到的一种通用知识或模式，这种知识不依赖于某个具体数据集的细节，而是能够迁移到新的、甚至没见过的输入配置上。

这个共享先验训练出来之后，有两种使用方式。第一种是直接推理，不做任何针对性微调，论文里简称"w/o FT"（without fine-tuning）。第二种是用LoRA做轻量化适配。

LoRA:全称Low-Rank Adaptation，低秩适应，一种参数高效微调技术，不需要调整模型的全部参数，只在原模型基础上增加一组小规模的低秩矩阵进行训练，大幅降低微调成本。

论文里LoRA只调整了80个变换器线性层里的2310万个参数，占整体参数的0.60%，用一块GPU跑1万步就能完成。相比直接从零训练一个专属模型，这个成本低了不止一个量级。

实验结果到底怎么样

说了这么多设计思路，最终还是要看数据说话。

论文在五个主要基准数据集上做了对比，包括SEN12MS-CR、Sen2_MTC_New、CUHK-CR2、WHUS2-CRv和T-CLOUD，对比的基线方法既有通用图像修复模型（比如pix2pix、BBDM、HI-Diff），也有专门的去云方法（比如UnCRtainTS、EMRDM、GACR）。

衡量指标主要看两个：FID和DISTS。

FID:全称Fréchet Inception Distance，一种衡量生成图像分布与真实图像分布之间差异的指标，数值越低说明生成图像在整体视觉分布上越接近真实图像。

DISTS:一种衡量图像结构和纹理相似度的感知质量指标，相比传统的像素级误差指标，它更贴近人眼对图像质量的主观感受。

结果显示，在全波段的SEN12MS-CR数据集上，GeoCR不做任何微调直接上场，FID相比最强的对比基线直接降低了超过60%。要知道，这个成绩是在没有针对这个数据集专门训练的情况下取得的，相当于一个从未去过某家餐厅学徒的厨师，第一次上灶就做出了比常驻主厨更好吃的菜。

在Sen2_MTC_New全波段设置下，GeoCR（w/o FT）的FID是52.9，对比最强基线GACR的87.4，差距同样明显。在RGB设置下的CUHK-CR2数据集上，GeoCR（w/o FT）拿到93.6的FID，是所有十种对比方法里最低的，第二名EMRDM是104.4。

这三个数据集上，GeoCR都拿到了FID和DISTS的最佳成绩，论文强调这是在五个主要基准里的三个上取得了最优表现，另外两个数据集（WHUS2-CRv和T-CLOUD）上，专门针对单一数据集训练的EMRDM等模型依然保持一定优势，这一点论文也坦诚地写了出来，没有回避。

值得一提的是，论文还分析了不同云层覆盖程度下模型的表现。按照输入云层覆盖比例分成几乎无云、低覆盖、中覆盖、高覆盖四档，GeoCR在每一档上的DISTS和LPIPS得分都优于对比的基线方法。更有意思的是，在"几乎无云"的场景下，GeoCR反而能进一步改善图像质量，而所有对比的基线方法在这种场景下DISTS得分都变差了，说明这些专用模型可能对"几乎没有任务要做"的输入处理得不够稳健，反倒画蛇添足。

条件信息越多，效果越好吗

论文还做了一组很直观的消融实验，验证多时相输入和SAR引导到底有没有用。

在Sen2_MTC_New数据集上，用同一个GeoCR模型，分别喂给它1张、2张、3张云图作为输入，PSNR从16.390分贝一路涨到20.522分贝，SSIM从0.4595涨到0.6568。

SSIM:结构相似性指数，一种衡量两张图像在亮度、对比度、结构上相似程度的指标，数值范围0到1，越接近1说明两张图像越相似。

在SEN12MS-CR数据集上，同样用同一个模型，对比有没有SAR数据辅助，PSNR从28.596分贝提升到29.442分贝，SSIM从0.8572提升到0.8703。

这组数据说明的道理很朴素：给模型的信息越充分，它恢复出来的结果就越准确。这就像你让一个人根据几张模糊的照片拼凑出一个人的长相，给他一张照片和给他三张不同角度的照片，后者显然能拼得更准。但这里真正厉害的地方在于，同一个模型checkpoint，不需要重新训练，只是换了输入条件的数量，就能自动利用新增的信息提升效果。这说明GeoCR确实学到了一种"灵活吸收信息"的能力，而不是死记硬背某种固定的输入格式。

模型也有搞不定的时候

论文没有回避GeoCR的局限，这点挺难得。

当所有能用的光学观测都被厚云完全遮挡时，模型生成的细节可能看起来很合理，但和真实地表未必一致。SAR数据虽然能提供结构性线索，但SAR信号本身并不能唯一确定光学图像该长什么样子，比如地表颜色、植被细节这些信息SAR是看不出来的。这就好比你只靠声音猜一个人的长相，声音能告诉你大概的年龄和情绪，但没法告诉你他穿什么颜色的衣服。

另外还有个"时间差"的问题。如果不同观测之间地表本身发生了变化，比如这块地在拍摄间隔期间被重新耕种或者盖了新建筑，模型可能会倾向于保留输入观测里看到的状态，而不是准确还原目标时刻真实发生的变化。这其实触及了一个更深的问题：去云任务本质上是在"推测"被遮挡区域的内容，而推测终究有极限，不是所有信息都能从间接证据里完全还原出来。

论文也坦承，GeoCR目前学到的共享先验，是建立在十个训练数据集基础之上的，面对完全没见过的新传感器、新地理区域，模型的泛化能力还需要进一步验证。这不是一个"一次性解决所有问题"的终极方案，而是迈出了一步，证明"一个模型吃下多种异构遥感数据"这件事在技术上是可行的。

写在后面

读完这篇论文，最让我意外的其实不是去云效果本身，而是那个"冻结主干、只训练接口"的设计思路。

这个思路背后其实藏着一种对预训练知识的敬畏。很多做多模态融合的工作，第一反应是把所有东西揉在一起从头训练，觉得这样才能学到最贴合任务的表示。但GeoCR反过来想，一个已经在海量自然图像上学过的模型，它对"什么是边界""什么是纹理""什么是空间结构"这些东西的理解，可能比你从零开始、用有限的遥感数据训练出来的理解更扎实。与其推翻重来，不如想办法把新数据"翻译"成它已经懂的语言。

这种思路放在更大的尺度上看，其实和现在大语言模型做领域适配的逻辑是相通的，不从头训练一个专用模型，而是保留一个强大的通用基座，只在边缘做轻量化的适配。遥感图像处理这个相对小众的领域，居然也在走这条路，这说明"复用预训练知识"可能正在成为整个AI领域的默认选项，而不只是大模型圈子的专利。

还有一个细节我觉得值得单独说一说：论文里提到，在"几乎无云"的场景下，几乎所有专用去云模型的表现反而变差了，只有GeoCR能在这种场景下依然改善图像质量。这其实暴露了一个很容易被忽略的问题，很多模型在训练时默认输入一定存在云层遮挡，一旦遇到不需要怎么处理的"简单样本"，反而因为过度拟合了"去云"这个任务而画蛇添足。这提醒我们，一个真正稳健的模型，不仅要在难样本上表现好，更要在"什么都不用做"的场景下知道适可而止。

这是不是也适用于我们对很多AI系统的期待？一个真正聪明的系统，不是在任何情况下都拼命输出复杂操作，而是能分辨出什么时候该出手、什么时候该收手。

Q&A

Q1：GeoCR是什么？

A：GeoCR是KAIST团队提出的通才去云模型，能用同一套模型处理RGB和多光谱卫星图像、单张和多张时序云图、有无SAR雷达数据等多种异构输入配置，而不需要针对每个数据集单独训练。

Q2：GeoCR不做微调直接用效果怎么样？

A：在SEN12MS-CR全波段数据集上，GeoCR不做任何微调直接推理，FID指标比最强对比基线降低超过60%，在Sen2_MTC_New和CUHK-CR2数据集上也拿到了最佳的FID和DISTS成绩。

Q3：GeoCR有什么局限性？

A：当所有光学观测都被厚云完全遮挡时，模型生成的细节可能不完全准确；地表在不同拍摄时间发生变化时模型可能难以还原真实状态；模型目前的泛化能力主要验证在训练用过的十个数据集范围内。