剑桥大学造出"地球超级大脑"：21M小模型碾压百倍大模型，卫星影像理解迎来新时代

这项由剑桥大学、英伟达和dClimate Labs联合完成的研究，以预印本形式发布于2026年7月4日，论文编号为arXiv:2607.03949v1，有兴趣深入了解的读者可以通过该编号查询完整论文。

地球正面临着一个数据悖论：我们从未像今天这样拥有如此海量的卫星观测数据，但真正能用好这些数据的人，却依然是少数掌握专业技能和昂贵算力的研究机构。每一张来自欧洲航天局哨兵卫星的图像，在能被科学家使用之前，都需要经过辐射校正、云层剔除、多传感器对齐等一系列繁琐处理，这就像你买了一袋新鲜食材，却发现它们全部混在一起、没有清洗、没有分类，而且食谱还是用你看不懂的语言写的。绝大多数人，只能望而却步。

正是为了打破这个困局，剑桥大学的研究团队发起了一项名为TESSERA v2的研究计划。他们的核心思路，是把卫星数据预先"消化"成一种通用的"营养素"——也就是所谓的嵌入向量（embedding），让任何研究者、开发者甚至农业从业者，都能直接取用这些"营养素"，而无需从头处理原始的卫星影像。更重要的是，这项研究通过史上最大规模的地球观测模型缩放实验，揭示了一个令人意外的规律：在训练这类模型时，用来监控训练进度的"损失值"（一个衡量模型表现的技术指标），根本不能预测模型在真实任务中的好坏——这意味着过去大量的计算资源，其实都被浪费在了错误的方向上。

这项研究在1024块英伟达GH200超级芯片上运行了395次训练实验，最终产出了一个仅有2100万参数的小模型，却在涵盖29项任务的综合测试中，击败了所有已知的开放和商业模型，其中一些被它超越的模型，参数量比它大了数百倍。这不是一次普通的模型发布，而是一套从根基重塑地球观测AI开发逻辑的完整方法论。

一、卫星数据的"原材料困境"：为什么普通人用不上海量卫星影像

地球每天都在被几十颗卫星不间断地扫描和记录。哨兵-2是一颗光学卫星，专门拍摄地面的颜色和反射信息，可以"看到"植被的绿度、水体的分布、城市的扩张；哨兵-1则是一颗雷达卫星，能穿透云层探测地表的物理结构，不受天气影响。听起来，这两颗卫星的组合简直是地球监测的完美搭档。

然而现实远比想象复杂。光学卫星最大的敌人是云。在热带雨林地区，一整年里有超过80%的时间被云层覆盖，这意味着你想观测的那片土地，大部分时候都被白茫茫的云遮住了，就像你想拍一张朋友的照片，却发现他大半年都戴着口罩。雷达卫星虽然能穿云，但它的观测节奏和光学卫星并不同步，两者的数据往往对不上时间。更麻烦的是，不同轨道、不同时间拍摄的图像，在亮度、角度、信号强度上都有细微差异，直接拼在一起会产生明显的"拼接痕迹"，就像把不同光线下拍的照片硬拼成全景图，总会看出接缝。

为了解决这些问题，研究者通常会制作所谓的"云无云合成图"——把同一地区一段时间内所有无云的卫星影像叠加平均，得到一张"干净"的图像。但这个操作有一个致命的代价：它抹掉了时间信息。农作物的生长节律、植被的季节变化、洪水的消退过程，这些随时间变化的动态信息，在合成图中全部消失了。这就像你把一年365天的日记全部打散重排，然后取平均值，最终得到一段毫无意义的"平均日记"。而许多重要的下游任务，比如识别农作物类型、监测森林砍伐时间点、预测植被生长态势，恰恰依赖这些被抹掉的动态信息。

TESSERA团队的解决方案，是引入"d像素"的概念。所谓d像素，就是把地球表面某个10米×10米小格子里，一整年内所有有效的卫星观测记录（包括光学和雷达），打包成一个完整的时间序列，并用一个二进制掩码标注哪些时间点是有效的（晴天无云），哪些是缺失的（被云遮挡）。这个d像素，就像是地球某个角落一整年的"完整日记"，包含了所有的高光时刻和阴暗日子，而不是被人工抹平的平均值。这种处理方式保留了完整的物候动态，同时也让模型学会了在信息残缺时依然做出合理判断——就像一个经验丰富的医生，即便病历不完整，也能根据现有线索做出诊断。

二、"营养素"工厂：什么是嵌入向量，为什么它能改变一切

理解TESSERA v2的核心，需要先理解"嵌入向量"这个概念。简单说，嵌入向量就是用一串数字来表示某个地点在某个时间段内的"综合特征"。以一个128维的嵌入向量为例，这128个数字共同描述了该像素的植被状况、水分含量、季节节律、地表覆盖类型等综合信息——虽然这些数字本身没有直观意义，但它们的组合方式，却精确编码了这个地点的"身份特征"，就像一个人的DNA序列，每一段碱基对单独看毫无意义，组合起来却唯一标识了一个人。

TESSERA v2的核心商业逻辑可以用一家预制菜工厂来理解。工厂（大型教师模型）负责处理最原始的食材（原始卫星时间序列），经过复杂的加工流程，生产出标准化的半成品（嵌入向量）。这些半成品随后被存储在数据库中，向所有人开放。使用者无需自己购置厨房设备和食材，只需取用对应地点和时间的半成品，加上自己的"调料"（轻量级任务头），就能快速做出各自需要的"成品菜"（各类地球观测应用）。

这套"嵌入即数据"的模式，彻底改变了地球观测AI的使用门槛。以往，一个农业机构想利用卫星数据预测作物产量，需要招募遥感工程师、购买GPU服务器、处理海量原始数据、自己训练模型——整个流程可能耗费数月、数百万元。在TESSERA v2的模式下，他们只需下载对应地区的预计算嵌入向量，再用几千个标注样本训练一个简单的神经网络头，整个过程可能只需要几天和几百元的算力成本。

研究团队为这套产品制定了五个核心标准。第一是"开箱即用"，用户拿到数据就能直接分析，不需要任何预处理步骤。第二是"跨任务通用"，同一套嵌入向量应该能适用于分类、分割、变化检测、回归等各种不同类型的任务，而不是只针对某一个特定问题优化。第三是"可复现"，所有的训练代码、模型权重、评估流程都应该公开，让任何人都能验证和扩展。第四是"经济实惠"，不论是标注成本、训练算力、推理算力还是存储开销，都应该尽可能低廉。第五是"灵活可调"，用户应该能根据自己的预算，在精度和成本之间自由选择，而不是被强制绑定在某一个固定的模型规格上。

三、史上最大规模地球观测缩放实验：395次训练揭开的惊天秘密

现在来到这篇论文最核心、也最具颠覆性的部分。在人工智能领域，"缩放定律"（scaling laws）是近年来最重要的发现之一。它的基本逻辑是：模型越大、数据越多、算力越强，训练损失就越低，而训练损失越低，模型在各种任务上的表现就越好。正是基于这个逻辑，整个AI行业都把"降低损失"作为衡量模型优劣的核心指标，并依据损失的变化规律来决定如何分配计算预算。

但TESSERA团队在地球观测领域发现了一个令人不安的异常。他们在1024块GH200超级芯片（每块芯片由一个Grace CPU和一个96GB显存的H100 GPU组成）上，系统性地训练了395个不同规模的模型，并且每个模型都在15项真实下游任务上进行了评估。这15项任务涵盖了土地覆盖分类、农作物分割、变化检测、生物量回归等多个领域，来自10个不同的数据集，可以说是相当全面和真实的测试。

测试结果让人大跌眼镜。当研究者把395个模型的训练损失和下游任务综合得分画在一张散点图上时，他们发现这两个数值之间几乎没有任何关系——皮尔逊相关系数仅为-0.18，斯皮尔曼相关系数为-0.16，都非常接近于零（完全随机的关系）。换句话说，一个损失值很低的模型，在真实任务上的表现完全可能比一个损失值更高的模型差。

为什么会这样？研究团队给出了清晰的解释。在卫星数据中，样本之间的差异很大一部分来自于云层覆盖和卫星轨道的随机性——这些差异和地面的真实物理状态毫无关系。模型在降低损失的过程中，很可能学会了"对云层和轨道变化保持不变"，而不是"识别对人类有用的地表特征"。前者能有效降低损失，但对任何实际任务毫无帮助，就像一个学生学会了在考试中猜测老师的出题偏好，而不是真正理解了知识——他的"训练损失"（做题错误率）可能很低，但在真实生活中运用知识的能力（下游任务表现）并没有提升。

这个发现有着非常具体的经济代价。研究团队计算发现，如果按照传统的"以损失为导向"方式来选择最佳模型，你需要多花费大约254%的计算资源，才能达到和"以真实任务表现为导向"选择方式同等的效果。也就是说，过去依赖损失值来做模型选择，大约有三分之二的计算预算是在做无用功。

四、找到正确的"烹饪配方"：编码器、数据和投影器，谁才是真正的关键

发现损失值不可信之后，研究团队面临的下一个问题是：那么计算预算到底应该怎么分配？一个地球观测模型的训练，主要涉及三个可以调节的维度：编码器的大小（负责把卫星时间序列转化为嵌入向量的核心神经网络，参数越多越大）、投影器的大小（训练过程中辅助编码器学习的附属网络，在推理时不使用）、以及训练数据的量。

为了找到最优的分配方案，研究团队把395次训练实验按照计算量分成了九个等级区间，在每个区间内分别测试了16种不同编码器规模（从700万到2.78亿参数）和四种不同投影器规模，同时训练数据量从3000万d像素到99.84亿d像素不等。对于每个计算量级别，他们找到了使下游任务得分最高的最优组合，然后观察这些最优组合随计算量增加如何变化。

结果呈现出一幅非常清晰的图景。当计算预算增加时，最优的编码器大小确实随之增长，符合幂律关系：计算量每增加10倍，最优编码器参数量增长约2.29倍，对应的幂指数约为0.36。与此同时，训练数据量也需要随之扩大：计算量每增加10倍，最优数据量增长约4.27倍，对应幂指数约为0.63。两个指数相加恰好约等于1.0（精确值为0.99），这与自然语言处理领域著名的"Chinchilla定律"（即训练一个计算最优模型，数据量和参数量应该等比例增长）高度吻合，这是一个来自不同数据域的独立印证，增加了研究结论的可信度。

然而最关键的发现是关于投影器的。研究者发现，投影器的最优大小对应的幂指数约为0.00——这意味着无论计算预算怎么增长，最优的投影器大小几乎保持不变。投影器在训练过程中虽然有用，但它的"贡献上限"早就饱和了，再给它增加参数，对最终的下游任务表现没有任何提升。它就像烹饪时用来搅拌的锅铲——无论你要做多大一锅菜，锅铲的大小都不需要按比例增大，一把标准尺寸的锅铲就够用了。

这三个幂指数的稳健性经过了严格的统计验证，包括1000次自举（bootstrap）重采样和"排除一个计算量桶"的交叉验证，结果都非常一致，说明这不是偶然现象，而是该模型家族真实的统计规律。这套规律给出了一个非常具体的生产配方：把钱花在更大的编码器和更多的数据上，投影器保持最小有效规格即可，多出的那部分算力全部是浪费。

五、1B参数教师模型的内部构造：如何"阅读"地球一整年的日记

基于上述缩放定律的指引，研究团队构建了TESSERA v2的核心——一个拥有约10亿参数的大型教师模型。这个模型的设计颇具匠心，每一个细节都针对卫星数据的特殊性量身定制。

这个教师模型采用双分支架构：哨兵-2光学数据和哨兵-1雷达数据分别由独立的处理通道处理。每个通道首先用一个线性层把各自的观测值转化为向量，然后加入"年内第几天"的位置编码——这就像给每条日记加上日期标签，让模型知道这条观测记录发生在一年中的什么时候（比如冬天、开春还是秋收季节）。加上日期标签后，每个通道的序列分别进入一个4层的Transformer网络（一种专门处理序列数据的神经网络结构）进行处理，然后通过"注意力池化"（一种自动给重要时刻加权、给不重要时刻降权的汇总方式）把整个时间序列压缩成一个向量。最后，两个通道的向量被送入一个双层融合Transformer，将光学和雷达的信息融合成一个768维的统一嵌入向量。

在训练方式上，研究团队使用了一种叫做BARLOW TWINS的自监督学习方法。自监督学习的核心思路是：不需要人工标注，而是通过让模型学会"同一个地点的不同观测结果应该产生相似的嵌入"来训练自己。具体来说，对同一个d像素，从一整年的观测记录中随机抽取两个子集作为两个"视角"，让模型把这两个视角的嵌入向量对齐，同时防止所有向量都坍缩成同一个值（这就是BARLOW TWINS中"冗余减少"机制的作用）。

TESSERA v2相比v1的一个重要改进，是在训练时随机使用不同长度的观测子集（每个视角随机抽取8个或16个观测时刻），而在推理（即实际使用）时则提供全部有效观测。这种设计的逻辑是：训练时用残缺信息，逼迫模型从少量观测中推断完整的年度物候规律；推理时给足所有信息，模型能利用更丰富的证据做出更准确的判断。这就像培养一名厨师，平时有意只给他一半的食材练手，上战场时才给他全套设备，结果他反而更擅长利用有限资源。

此外，为了解决不同地点观测数量差异巨大的问题（有些热带地区全年有效观测可能只有几次，而干旱地区可能有上百次），v2采用了"自适应桶采样"策略：根据每个像素的有效观测数量k，选取能容纳所有k个观测的最小固定长度（从16、32、48……的阶梯中选取），剩余的空位用全年的等间隔重采样填充。这样既不丢弃任何有效观测，又保持了批量计算所需的固定输入长度，就像打包行李时根据物品多少选择合适尺寸的箱子，而不是固执地塞进同一个箱子或者空着大半的空间浪费资源。

整个教师模型在512块GPU上，用全球约42亿个d像素进行了完整训练，全局批次大小为131072。这是一次规模宏大的全球"阅读"——模型通过学习地球上42亿个地点的一整年卫星日记，建立起对全球地表状态的深度理解。

六、"知识传承"的艺术：如何把巨人的智慧装进袖珍版容器

10亿参数的教师模型虽然强大，但它有一个致命的弱点：太贵了。研究团队计算，用这个教师模型对全球所有陆地表面进行一次完整的年度嵌入计算，大约需要50个H100-GPU运行一整年的算力（约50 H100-年）。这种规模的计算，普通研究机构和企业根本无法承受，更别说每年重复运行。

解决方案是知识蒸馏（distillation）。这个概念的直觉是：一个大专家（教师模型）已经把世界看得很透彻了，我们不需要让每个人都成为同等规模的专家，而是让大专家把自己的"世界观"传授给一个更紧凑的学生，让学生在更小的体积内尽可能还原大专家的视角。

研究团队从教师模型蒸馏出四个不同规模的学生模型，分别命名为N、S、M、L（对应参数量约为100万、700万、2100万和4400万）。蒸馏的方式是：固定冻结教师模型（让它停止学习、只提供输出），然后让学生模型学习"产生与教师模型尽可能相似的嵌入向量"。为了节省蒸馏成本，研究团队先对约2亿个d像素运行一次教师模型，把结果缓存下来作为固定的"目标答案"，学生模型的训练只需要和这些缓存结果对比即可，不需要每次都重新运行巨大的教师模型。这个蒸馏过程只需要64块H100 GPU完成，相比教师模型的训练轻量得多。

最终，四个学生模型的推理成本在0.04到2个H100-年之间，比教师模型低了整整两个数量级。按最大的L号学生（4400万参数）计算，它比教师模型便宜约25倍；最小的N号学生（100万参数）则比教师模型便宜超过1000倍。这套成本结构意味着，全球年度嵌入更新变成了一件可负担的常规任务，而不是一次性的奢侈壮举。

七、俄罗斯套娃式嵌入：为什么128维能"缩水"到16维还保留九成功力

TESSERA v2还解决了另一个实际问题：存储和传输成本。一个128维的全球嵌入产品，对于拥有强大基础设施的大型机构来说可能没问题，但对于网络带宽有限的发展中国家研究者、或者需要在手机端运行的应用开发者来说，每个像素存储128个浮点数的开销依然是个负担。

TESSERA v2的解决方案是"俄罗斯套娃式表示"（MATRYOSHKA representations）——这个名字来自于俄罗斯著名的套娃玩具，大娃套着小娃，每个小娃都是大娃的完整缩小版。具体来说，研究团队训练学生模型，使其128维嵌入向量的前16位就能独立代表最重要的信息，前32位包含更多细节，前64位再进一步，完整的128位则提供最全面的表示。用户可以根据自己的存储和带宽预算，直接截取嵌入向量的前k位来使用，而不需要重新训练或转换任何模型。

实验结果显示，仅使用前16维的嵌入，在29项综合测试任务上能保留约92%的完整128维性能，使用前32维达到约97%，使用前64维达到约99%。换句话说，如果用户只愿意付出八分之一的存储成本，他们依然能获得九成以上的性能——这是一个非常实用的权衡曲线。

然而，实现这种"可截断"的嵌入并不简单。研究团队发现，一个看似自然的方法——在自监督预训练时直接对不同前缀长度施加损失约束——根本行不通。根本原因在于BARLOW TWINS等自监督方法的数学性质：这类方法训练出的嵌入只能保证整体子空间的结构，无法保证哪个坐标轴比哪个更重要。对不同前缀施加独立的损失，反而会通过梯度不平衡破坏已经学到的坐标结构，就像你试图同时用两把锁锁住同一扇门，结果反而让门失去了正常的铰链功能。

正确的方法，是通过蒸馏来实现。蒸馏提供了一个固定的外部参考点（教师模型的嵌入），让学生模型的每个前缀都去学习"尽可能还原完整的教师嵌入"，而不是自己给自己评分。这种有外部参照的监督学习，天然地迫使学生把最重要的信息压缩进最短的前缀，把次要信息依次填入后续维度。这一发现揭示了嵌入维度排序的本质：它不是自监督学习能自发产生的属性，而是一种需要通过有监督压缩来显式习得的结构。

八、29项任务的"大比武"：小学生打败大先生

所有的设计和训练最终都需要接受现实检验。研究团队构建了一套两阶段评估体系：第一阶段是15项来自"AlphaEarth基准套件"的标准任务，涵盖了土地覆盖分类、作物分割、变化检测和生物量回归等常见地球观测应用；第二阶段则是14项完全独立的"保留数据集"，在整个研究开发过程中从未被用于任何决策，分为植被组（树种识别、作物地块分割、生物量）和城市组（土地利用、道路密度、人口、GDP、夜间灯光、污染、地表温度、人口统计）。

评估时，所有模型都使用相同的轻量级任务头：像素级任务用一个两层MLP，图像块级任务用一个不超过200万参数的简单卷积网络。这种统一的评估头确保了比较的公平性——模型之间的差异完全来自嵌入向量的质量，而不是任务头的能力差异。

在15项AlphaEarth套件任务上，TESSERA v2-1B-L（4400万参数的L号学生）以综合得分0.584排名第一，M号、S号、N号学生分别为0.581、0.570和0.558，全部超过AlphaEarth（谷歌发布的全球嵌入产品，得分0.560）和TESSERA v1（得分0.541）。

在完整29项任务的综合测试中，结果更加突出：TESSERA v2-1B-M（2100万参数的M号学生）以0.611的总分领先所有系统，而TESSERA v1得分0.576，AlphaEarth为0.574，OlmoEarth-L（来自微软的另一个系统）为0.562。值得注意的是，这个2100万参数的M号学生，比它超越的所有对手都小得多——有些被它超越的模型参数量是它的数十倍乃至数百倍。

在标签效率测试中（模拟只有1%、30%或100%训练标注数据的场景），TESSERA v2在绝大多数保留数据集上都超过了最强的非v2基准，而且差距在标注数据最少的时候最为显著。这意味着TESSERA v2的嵌入包含了更丰富的、可以用极少量标注"激活"的潜在信息，对于标注数据稀缺的发展中国家和小型研究机构尤其有价值。

除了性能数字，v2在嵌入的视觉质量上也有明显改进。v1的嵌入图像中经常出现沿卫星轨道方向的条纹状伪影和图块拼接边界，这些伪影与哨兵卫星的观测几何直接相关，会干扰下游的地理空间分析。v2的嵌入基本消除了这些伪影，地理结构更加平滑自然。在时间稳定性方面，对于土地覆盖未发生变化的像素，v2在相邻年份之间的余弦距离（嵌入相似度的度量）显著低于v1，说明v2更能稳定代表地点的"长期身份"；而当发生临时扰动（如临时砍伐）后，v2的嵌入能在扰动消失后恢复到之前的基线水平，而v1则会持续漂移，无法自动恢复。

说到底，TESSERA v2这项研究做了几件在地球观测领域看似平凡但实则意义深远的事情。它用395次精心控制的实验，第一次系统性地证明了训练损失这个大家习以为常的"指路明灯"，在地球观测领域其实是个"假向导"——跟着它走，你可能费了三倍的力气，结果却发现自己走偏了。它还发现了一套清晰的资源分配法则：钱要花在更大的编码器和更多的数据上，辅助用的投影器不需要跟着增长。这两个发现合在一起，给整个领域的研究者提供了一张更准确的地图。

更重要的是，这项研究把一个"供精英使用"的大型教师模型，通过蒸馏变成了一套"供所有人使用"的轻量产品家族，并且通过俄罗斯套娃式的嵌入设计，让存储成本也变成了用户可以自由调节的旋钮。一个只有2100万参数的小模型，在29项任务上击败了所有已知的开放和商业模型——这说明，在合理的设计框架下，规模不是决定性的，架构的正确性和知识的精炼程度才是。

对于普通人来说，这项研究意味着：未来那些依赖卫星数据的应用——农业保险定损、森林碳汇核查、城市热岛监测、灾害应急响应——将变得更快、更便宜、更准确，而且更多地可以在小型机构甚至个人设备上运行，而不再是只有财力雄厚的大机构才能玩得起的游戏。一个更民主化的地球观测时代，正在这些数字背后悄然开启。

研究团队表示将在训练完成后发布覆盖2017至2025年的全球嵌入数据，同时开放所有训练代码、缩放实验结果、蒸馏学生模型权重和评估框架，感兴趣的读者可通过arXiv:2607.03949v1查阅完整论文，或访问https://github.com/ucam-eo/tessera获取代码。

Q&A

Q1：TESSERA v2的嵌入向量和普通卫星图像有什么区别？

A：普通卫星图像是原始的像素颜色或反射率数值，需要专业人员进行大量预处理才能使用。TESSERA v2的嵌入向量是一串经过深度学习模型"消化"后的数字（128维或更少），它已经把某个地点一整年的卫星时间序列压缩成了携带语义信息的紧凑表示，用户可以直接拿来训练分类或回归模型，无需任何遥感预处理知识和GPU推理环境。

Q2：为什么TESSERA v2用21M参数的小模型能超过更大的模型？

A：这得益于两个关键设计。首先，21M的学生模型通过知识蒸馏从10亿参数的教师模型那里继承了高质量的"世界观"，等于站在巨人的肩膀上；其次，训练过程遵循了从395次实验中提炼出的最优资源分配规律，把算力集中在真正有效的地方。大模型如果训练方向有误，参数多了也是浪费，而小模型若有高质量的知识传承，反而能以更低的推理成本实现更好的任务表现。

Q3：TESSERA v2的俄罗斯套娃嵌入（MATRYOSHKA）实际使用时怎么操作？

A：用户在下载某地区的TESSERA v2嵌入数据后，会得到每个像素128维的浮点数向量。如果存储或带宽有限，直接截取每个向量的前16位使用即可，这16位已经能保留约92%的完整性能，存储成本只有完整版的八分之一。不需要重新下载特殊版本的嵌入，也不需要重新训练任何模型，截取操作本身就足够，因为这种维度间的信息层次是在训练时通过蒸馏显式学到的。