法国多所顶尖机构联手打造的"万能卫星眼"——UniverSat，能同时看懂雷达、光学、高光谱等13种传感器数据

这项由法国巴黎东马恩河谷大学LIGM实验室、法国国家地理信息研究院LASTIG实验室、法国国家空间研究中心CNES以及法国远东学院EFEO联合开展的研究，以预印本形式于2026年6月发表，论文编号为arXiv:2606.23503。有兴趣深入了解技术细节的读者可通过该编号查阅完整论文。

假设你是一名摄影师，手上同时拿着十三台来自不同品牌、不同年代、不同规格的相机。有的相机拍出来的照片是8K超高清，有的只有普通手机水准；有的一秒能拍一百张连拍，有的一年才拍一次；有的能感知红外线，有的只能记录雷达回波，还有的能同时记录几百个光谱频段的信息。现在，有人要求你只用一台翻译机器，把这十三台相机拍出的所有照片统统理解清楚，并从中提取出地球表面的完整信息——这就是地球观测领域长期以来面临的核心难题。

而这支来自法国的研究团队，给出了他们的答案：一个名为UniverSat的模型，用一套统一的"读图大脑"，无需任何预处理或重新采样，就能理解来自雷达、光学卫星、航空相机、高光谱传感器、数字高程模型等各种天差地别的数据。这不是一件容易做到的事情，下面就来细细道来。

一、为什么现有的"读图大脑"总是挑食

在人工智能读图领域，有一种叫做"视觉变换器"（Vision Transformer，简称ViT）的架构，近年来几乎统治了整个图像识别领域。它的工作方式就像把一张大图切成很多小方块，然后逐块分析，最后综合所有小块的信息得出结论。这套方法非常强大，却有一个致命的毛病：它天生只能处理固定格式的图像，就像一台只能读取特定格式光盘的播放机。

地球观测偏偏是个极度多元的领域。欧洲的Sentinel-2卫星能拍10米分辨率、10个波段的图像，每隔几天刷新一次；美国的NAIP航空影像能达到1.25米分辨率；日本的ALOS-2雷达卫星拍的根本不是可见光，而是微波；还有一些高光谱设备能同时记录多达400个光谱波段的信息。把这些数据喂给一个标准的ViT，就像是拿着一本中文字典去翻译日文、阿拉伯文和古埃及象形文字——基本宣告失败。

现有的地球观测模型大多采用了一个妥协方案：要么只处理几种固定的传感器类型，要么针对不同传感器训练不同的专用模型，要么把所有图像强行重采样到统一分辨率再处理。第一种方案缺乏灵活性，第二种方案参数数量爆炸，第三种方案则会在重采样过程中损失大量细节信息，而且数据量会膨胀到原来的好几个数量级。

研究团队把这个根源问题直指"固定的图块投影器"。在标准ViT里，将图像小方块变成数字向量的那个环节是固定死的，一旦输入格式变化，整套系统就崩溃了。于是，他们决定从根本上替换掉这个零件。

二、用一个"万能翻译官"打通所有传感器语言

UniverSat的核心创新叫做"通用图块编码器"（Universal Patch Encoder，简称UPE）。为了解释它是怎么工作的，可以借助一个翻译的比喻来理解整个系统。

把来自不同传感器的每一个图像小块，想象成用不同语言写成的一封信。有的信用中文写了一页，有的用阿拉伯文写了十页，有的用音符写成，有的用数学符号构成。传统的ViT只能读固定格式的信，而UPE的设计目标是把每一封信先拆解成最基本的"原子单位"，再用统一的方式把这些原子翻译成同一种语言。

具体来说，当一个图像小块传入UPE时，它的形态是一个多维数组：包含若干个光谱通道（比如Sentinel-2就有10个波段）、若干个时间戳（时间序列数据）、以及宽和高两个空间维度。UPE首先把这个图块在空间上进一步切成更小的"子图块"，然后把每一个最基本的数值（比如某个像素在某个波段某个时间的亮度值）通过一种叫做"可学习傅里叶特征"的技术，从一个单纯的数字提升为一段96维的向量表示。这就好比把一个音符从单纯的音高数字，扩展成包含音色、响度、时值等多维度的丰富描述。

有了这些丰富的原子表示之后，UPE面对的下一个挑战是：如何把几百个乃至几千个这样的原子"折叠"成一个统一的、固定长度的向量，同时不因为传感器差异而需要重新训练？研究团队的答案是"轴向交叉注意力机制"（Axial Cross-Attention，简称ACA）。

轴向交叉注意力的工作逻辑可以用折叠地图来理解。面对一张巨大的地图，直接全部展开太占地方，但你可以先按照南北方向折叠一次，再按照东西方向折叠一次，每折叠一次地图变小一半但信息被压缩保留下来。UPE中的轴向交叉注意力也是如此：它依次沿着像素维度、光谱通道维度、时间维度、空间子图块维度，一次折叠一个维度，每次折叠的同时把特征维度扩大，最终把任意形状的原子张量压缩成一个固定长度的向量。

折叠的方式也很讲究：对于每一次折叠，模型先对要被折叠的那个维度进行池化得到一个"摘要查询"，然后用这个查询去和该维度上所有位置的信息进行交叉注意力计算，提取出最关键的内容，再通过前馈网络输出结果。整个过程只在当前折叠维度上进行注意力计算，不涉及其他维度，因此计算复杂度是线性的，不会随着图像尺寸或波段数量爆炸式增长。

在折叠之前，模型还会根据每个原子的物理含义注入专属的位置编码：光学波段会被注入它的中心波长信息，雷达极化通道会注入极化比率信息，时间序列会注入一年中的时间信息，空间位置则会根据实际地面采样距离（GSD）进行缩放的旋转位置编码。这些物理信息让模型在不知道传感器具体型号的情况下，也能理解数据的物理意义。

UPE最终产出两样东西：一个代表整个图块的全局向量，以及一组更细粒度的子图块向量。后者将在后续步骤中发挥重要作用。

三、从"读懂一块"到"画出整张地图"

读懂单个图块只是开始，UniverSat的最终目标是把整幅影像理解成一张完整的特征地图。这部分的设计思路就像组织一场多部门情报汇报会。

一幅地球观测图像通常由多种传感器同时覆盖，每种传感器都能提供不同维度的信息。UniverSat首先对每个空间位置、每种传感器分别提取图块向量，然后把同一位置来自不同传感器的所有向量堆叠在一起，再次用轴向交叉注意力沿着"传感器模态"维度进行折叠，融合成该位置的单一多模态向量。这就像各部门情报官先分头收集信息，再在统一的会议上交叉验证、综合汇报。

得到每个位置的多模态向量之后，UniverSat把整幅图像上所有位置的向量组成一个序列，送入标准的变换器自注意力模块进行空间关系建模。这个步骤让模型能感知到不同位置之间的上下文关系，比如一块地附近是河流还是道路，会显著影响对这块地的解读。

更精巧的设计在于输出分辨率的灵活控制。标准的ViT输出的特征图分辨率和输入图块大小绑定，很难随意调整。而UniverSat允许用户在推理时自定义目标输出分辨率，通过双线性插值把特征图重采样到用户指定的任意地面采样距离。更重要的是，模型还保留了之前UPE产出的子图块向量，在最后一步通过交叉注意力机制，让输出特征图上的每个位置去"查询"所有子图块的高分辨率细节信息，从而恢复出图块级别聚合过程中丢失的精细空间结构，比如田块边界、道路线条等。这就像在整体规划完成后，再请专家补充每个细节的精修工作。

四、用"遮住大部分信息"来训练一个"全能理解者"

有了如此灵活的模型架构，接下来的问题是：如何训练它？研究团队设计了一套完全自监督的训练策略，不需要任何人工标注的标签。

训练的核心思路可以用"残缺拼图游戏"来理解。给模型看一幅被大量遮盖的多模态图像——遮盖的方式包括随机丢弃整个传感器模态、随机丢弃时间序列中的大部分时间步、随机丢弃光谱通道、随机遮挡空间图块——大约90%的原始信息都被移除，然后要求模型根据残留的10%信息，预测被遮盖部分应该长什么样。

具体的预测目标不是直接重建像素值，而是预测被遮盖图块经过一组随机初始化且永久冻结的线性投影之后的向量表示。这种设计借鉴了计算机视觉领域近年来的"潜空间遮盖建模"思路，好处在于随机投影作为目标不需要学习，天然避免了模型陷入"预测等于输入"的平庸解，同时也不需要类似对比学习中那种动量教师网络的复杂机制。

为了在时间维度上平衡监督信号，模型不会对所有时间步同时进行预测，而是每次只选取少量（4个）时间戳作为预测目标，每个被遮盖的图块被分配一个目标时间戳，模型需要在给定可见图块的条件下，预测被遮盖图块在指定时间戳下的表示。这避免了模型依赖简单的时间规律来取巧，强迫它真正理解空间内容。

训练目标的另一个组成部分是跨模态对比损失。由于不同传感器观测的是同一场景，来自不同传感器的图块向量应该在语义上彼此一致。研究团队将同一空间位置、不同传感器的UPE输出向量作为正样本对，用批次内的多正例对比损失来拉近同位置不同传感器向量的距离，推远不同位置向量之间的距离。消融实验表明，去掉这个对比损失会导致多模态分割任务上的性能大幅下降，说明它对稳定UPE的训练、促进跨模态表示对齐起到了关键作用。

五、在7个数据集、13种传感器上的混合训练

UniverSat的训练数据集涵盖了7个异质性极强的数据集，分别是法国的FLAIR-Hub、PASTIS-HD、TSAI-TS、Planted、S2NAIP-Urban、HyperGlobal以及EarthView的NEON子集。这些数据集合计包含13种传感器，覆盖的空间分辨率从0.1米（无人机超高分影像）到300米（MODIS卫星），时间深度从单次获取到每年140张，光谱宽度从1个波段（数字高程模型）到396个波段（NEON高光谱影像），单幅图像覆盖面积从0.4公顷到600公顷不等。

按原子数量（每个像素每个波段每个时间步算一个原子）统计，高分辨率光学影像（VHR）贡献了约43%的原子量，光学时间序列贡献约32%，高光谱数据约16%，雷达时间序列约4%，高程数据约3%。训练时，按数据集设定了不同的采样权重，并对每种模态配置了各自的空间分辨率、波段数量和子图块大小参数。

整个训练过程在8张H100 GPU上运行约100k步，总计消耗约240 GPU小时。研究团队还进行了激进的尺度增强：每次训练时从数据集预设的多个输入图块尺寸和目标输出分辨率中随机抽取组合，进一步促使模型学习到尺度无关的表示。

六、跑赢同类竞争者的实验成绩单

研究团队在GeoBench、PANGEABench和SpectralEarth三大标准评测平台上对UniverSat进行了全面测试，涵盖分类和语义分割共16个数据集。

在标准探针实验（不允许微调模型，只允许在冻结特征上训练极简的分类器）中，UniverSat在BrickKiln砖窑检测任务上达到94.5%的准确率，超越了包括Panopticon、OlmoEarth在内的所有竞争方法；在Sen1Flood11洪水检测任务上达到80.1% mIoU，同样位列第一；在m-ForestNet林地分类、m-Chesapeake土地覆盖分割、m-NeonTree树冠分割等多个任务上也位列前三。值得注意的是，这些评测中有几项任务使用的是模型训练时从未见过的传感器配置，比如单时相Sentinel-1、波段数量减少的Sentinel-2以及合成传感器HLS，UniverSat依然保持了强劲表现。

在PANGEABench评测中，其他竞争模型都使用了包含约4700万参数的UpperNet重型解码器头来完成语义分割，而UniverSat仅用一个9000参数的简单线性探针——参数量差了整整3700到5000倍——却在PASTIS-R作物分割（47.9% mIoU）和AI4Farms农田边界检测（41.1%）两项任务上达到了所有方法中最高的成绩。这意味着UniverSat的致密特征图本身就已经编码了大量高质量的空间信息，不依赖解码器的大量参数。

在专门的高光谱评测平台SpectralEarth上，UniverSat的表现尤为亮眼。这个平台基于EnMAP高光谱卫星数据（最多500个波段），测试了6个不同的分割和分类任务。UniverSat在所有任务上都超越了DOFA这个专门针对EnMAP训练的基础模型，并且接近SpectralEarth-L的成绩——后者是专门为EnMAP设计的模型，还在评测数据本身上做了自监督预训练，相当于有"做题优势"。UniverSat没有接触过任何EnMAP数据，仅凭训练时接触的其他高光谱数据就达到了如此表现。

七、拆零件验证：哪些设计真的有用

研究团队还做了一系列消融实验，把模型的每个关键组件逐一拆除，观察性能如何变化，从而验证每个设计决策的必要性。

当把通用图块编码器UPE替换为每种传感器各自独立的MLP投影器（即回退到标准ViT的做法）时，模型参数量反而增加了58%，但在PASTIS多模态作物分割上性能暴跌，从32.9% mIoU降到21.5%，同时丧失了处理未见传感器的能力，训练速度也只有原来的一半。这有力证明了UPE设计的价值不只是灵活性，在多模态融合质量上也有实质性提升。

去掉子图块的跳跃连接（即不再让输出特征图通过交叉注意力查询高分辨率细节）时，PASTIS任务略有提升——因为作物分割的标注本来就比较粗糙，精细空间细节用处不大——但其他需要精细结构的任务明显下降。这说明跳跃连接对需要精细空间信息的任务至关重要。

固定输出分辨率（不再允许在推理时自定义目标GSD）会在未见过的数据集上表现下滑，说明可控输出分辨率对于跨数据集泛化具有特别重要的意义。用简单的晚期融合（各模态独立处理后平均）替换基于轴向交叉注意力的模态融合，会带来小幅但一致的性能下滑，同时还需要对每种模态单独跑一遍推理，效率更低。去掉跨模态对比损失则导致多模态分割任务出现显著下降，尤其是PASTIS降了近5个百分点。

八、局限性与潜在影响

研究团队也坦诚地指出了这套方案的几处局限。UniverSat以通用性换取了一定的专业性代价：在单一传感器的标准任务上（比如只用高分辨率RGB影像或只用单时相Sentinel-2），针对该传感器专门优化的模型可能仍然更精确或更高效。通用设计引入的额外计算开销，在处理同质、单模态数据时并不划算，只有在真正需要整合多种异质数据时才能体现最大价值。

对于未见过的非光学传感器（比如训练时没有接触过的新型雷达或高光谱设备），泛化并不像光学传感器那样无缝，需要在推理时学习一个小的模态编码向量来描述新传感器的特性。

此外，和所有地球观测模型一样，UniverSat具备的大规模地表监测能力是一把双刃剑——它既可以服务于农业、环境、灾害等正当用途，也存在被用于大规模人员监视或未经授权的情报收集的风险，这是值得社会各方共同关注的议题。

说到底，UniverSat做的事情其实可以用一句话概括：用一套统一的"读图大脑"，打通了地球观测领域里长期互不兼容的十三种传感器语言。它不是通过强行统一输入格式来解决问题，而是从架构设计上就接受了数据的异质性，把灵活性做进了骨子里。

这项研究对普通人的影响或许不是立竿见影的，但它所解决的问题——如何让机器自动理解来自各种卫星和航空传感器的地球观测数据——直接关系到农业精准灌溉、自然灾害预警、森林碳汇监测、城市扩张追踪等一系列与每个人息息相关的实际应用。当一个AI模型能够同时理解雷达卫星、光学卫星和无人机拍摄的数据，而不需要为每种数据单独训练一个模型时，地球观测的效率和覆盖范围都会得到质的提升。

一个自然延伸的思考问题是：如果UniverSat能够在不重新训练的情况下处理它从未见过的新型传感器，那么是否有一天，我们能够把从未部署过的未来传感器设计蓝图直接输入模型，让它提前"模拟"一种尚不存在的观测方式？这个方向值得期待。有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.23503查阅完整论文及附录，其中包含了更详细的架构参数、训练超参数和数据集描述。

Q&A

Q1：UniverSat和普通卫星图像AI模型有什么根本区别？

A：普通卫星图像AI模型通常只能处理固定格式的输入，比如固定波段数、固定分辨率，换一种传感器就需要重新训练。UniverSat的核心区别在于它引入了通用图块编码器UPE，能够把来自任意传感器的图像小块，不管是几个波段、多少分辨率、是雷达还是光学，都先拆解成最基本的数值原子，然后通过轴向交叉注意力逐步压缩融合，最终转换成统一的向量表示，整个过程完全不需要对输入进行重采样或格式转换。

Q2：UniverSat训练时用了哪些数据，覆盖了哪些传感器？

A：UniverSat在7个异质数据集上进行联合训练，涵盖13种传感器，包括法国FLAIR-Hub的0.2米航空影像和DSM高程数据、PASTIS-HD的SPOT6/7和Sentinel-1/2时间序列、TSAI-TS的树种分类多模态数据、Planted的Sentinel加Landsat加ALOS-2加MODIS组合、S2NAIP的NAIP航空加Landsat8加Sentinel数据、HyperGlobal的EO-1和高分五号高光谱数据，以及EarthView的NEON超高分高光谱影像，空间分辨率从0.1米到300米，光谱通道从1到396个。

Q3：UniverSat在高光谱数据上的表现为什么值得关注？

A：UniverSat在SpectralEarth高光谱评测平台上的表现特别值得关注，因为它从未在EnMAP高光谱卫星数据上训练过，却在所有6个评测任务上都超过了专门针对EnMAP训练的DOFA基础模型，并且接近了SpectralEarth-L的成绩——后者不仅专为高光谱设计，还在评测数据本身上做了自监督预训练。这说明UniverSat通过处理其他高光谱传感器数据学到的表示，能够良好地迁移到从未见过的高光谱传感器，具备真正的跨传感器泛化能力。