一个模型，学会了细胞、天气、蛋白质和游戏的共同语言

你有没有想过，预测明天的天气和预测一个病人未来会不会得糖尿病，本质上是同一件事？

听起来有点荒谬。天气是大气压、温度、湿度这些物理量的博弈，病人的健康是基因、生活习惯、病史的纠缠。一个是流体力学，一个是生物医学，隔着十万八千里。但如果你换个角度看：这两件事都是在问同一个问题，我现在看到的这些信息，能不能推出接下来会发生什么。

这正是这篇论文想要挑战的地方。研究者们给出了一个大胆的判断：不管是图像、细胞、病历、机器人控制、分子运动、物理场还是天气，只要问题的本质是从已知推未知，就可以用同一套学习原理去解决。他们把这个框架叫做 JEPA-Anything，测试的领域跨了七个,从像素到病历,从分子动力学到天气预报,几乎把能想到的"世界"都试了一遍。

这篇文章要讲的,就是他们怎么做到的,以及这件事为什么值得你花十分钟看完。

预测模型的老问题：一个筐子装太多东西

先说说这件事难在哪。

在深度学习里,有一类模型叫世界模型,它的任务是构建一个内部状态,用来预测这个世界接下来会怎样。

世界模型：一种学习方法,让模型建立对环境的内部表示,并用这个表示去预测未来会发生什么,而不是直接对原始像素或数据做操作。

早期的世界模型思路很简单粗暴,把观察压缩成一个隐藏状态,然后用循环网络去预测下一步。后来出现了 DreamerV3 这样的系统,证明了一套模型配置可以跑通很多种控制任务。但无论怎么进化,这些模型骨子里都在做同一件事:用一个目标向量,去代表要预测的整个状态。

问题就出在这个"一个目标向量"上。

想象你要给一个箱子装东西,箱子里既要装易碎的玻璃杯,也要装沉重的铁块,还要塞进几件衣服。如果你把它们全部混在一起随便扔进去,会发生什么?玻璃杯可能被铁块压碎,衣服会占用大量空间却起不到保护作用,最后打开箱子,你会发现那些真正重要、易碎的东西反而受损最严重。这不是因为箱子不够大,而是因为你没有给不同性质的物品分配不同的空间和保护方式。

这就是标准 JEPA 架构的困境。

联合嵌入预测架构：一种自监督学习方法,用一个上下文编码器总结已知信息,一个目标编码器定义要预测的状态,再用一个预测器在这两者之间建立映射关系,整个过程发生在抽象的表示空间里,而不是原始像素空间。

当视觉场景里同时存在局部纹理和全局结构,或者一个系统里同时存在多个实体、多个变化尺度时,如果统统塞进一个目标嵌入向量,容易预测的、方差大的信息会主导整个优化过程,而那些更微妙、更难学的结构就会被淹没,甚至收到相互矛盾的梯度信号。研究团队把这个问题精准地定义为预测容量分配问题:接口应该保持统一,但内部状态需要被组织成多个互补的部分。

于是,JEPA-Anything 的核心创新登场了,一个叫正交预测因子分解的机制。

正交预测因子分解怎么把"一个筐子"拆成"多个格子"

先解释一下这个略显拗口的名字。

正交预测因子分解（OPF）：一种把预测目标拆解成多个互不重叠、各自独立学习的子空间的方法,每个子空间配一个专属的预测器,最后再把所有子空间的预测结果拼回一个完整的状态。

具体是怎么做的?论文里给出了严格的数学构造,但我们可以用更直观的方式理解。假设目标状态是一个高维向量,研究者引入了 K 个可学习的投影矩阵,把这个高维向量切成 K 份,每一份交给一个专门的预测器去负责学习。这些投影矩阵之间要满足两个约束:每个投影矩阵内部的方向要相互独立(不能自己内部就重复),不同投影矩阵之间也要尽量不重叠(不能你学的东西我也在学)。

这就好比一个公司招人,如果你招十个人来做同一件事,那和招一个人做没有本质区别,浪费的是另外九个人的产出空间。真正高效的团队分工,是让每个人负责一块互不重叠的业务,财务管财务,技术管技术,市场管市场,这样十个人才能真正撑起十份工作量。如果不做这种正交约束会怎样?论文里专门做了一个对照实验来验证:用没有约束的多头预测器,和用正交约束的因子分解做对比。结果显示,没有约束的版本,不同预测头之间的重叠度高达 0.455,而加了正交约束之后,这个重叠度直接降到了 5.18 乘以 10 的负 16 次方,几乎为零。更关键的是矩阵的条件数,没有约束的版本条件数高达 438.52,这意味着一旦预测有一点误差,合成最终状态时误差会被放大四百多倍;而加了正交约束后,条件数只有 1.00005,几乎不放大任何误差。

条件数：衡量一个矩阵在计算过程中对输入误差的放大程度,数值越接近 1 越稳定,数值越大意味着误差会被急剧放大。

这组数据说明了什么?没有约束的多预测头看似也在"分工",但实际上大家都在抢同一片地,合成最终答案时这种混乱会让误差滚雪球式地放大。而正交约束强制每个预测器守好自己的一片阵地,合成过程反而变成了一个几乎完美的、无损的加法。

除了正交性,研究者还加了两道保险。第一道叫因子活跃度约束,防止某个格子长期"没人干活"变成摆设,保证每个子空间里的坐标始终保持变化,不会退化成一个常数。第二道叫编码器方差约束,直接给上下文编码器一个反塌陷的梯度信号,防止整个表示空间坍缩成一团,失去区分能力。

这三重设计合起来,构成了论文里说的完整训练目标:原有领域的基础损失,加上这套统一的因子分解损失。这也是这篇论文起名 Anything 的原因,不管你是处理图像、细胞数据、病历记录还是分子轨迹,底层的这套因子分解引擎完全不用改,只需要换一个前端的适配器,把原始数据转成统一的上下文-目标接口。

七个世界,一套引擎:实验都测了什么

理论讲完了,接下来看实际效果。研究者设计了三组实验,层层递进。

第一组叫终端读出,测试的是这个编码器学到的表示本身够不够好用。第二组叫潜在世界动力学,测试预测出来的状态能不能被反复使用,支撑规划和长程推演。第三组叫科学分析,测试从模型里提取出来的因子坐标,能不能反过来指导真实世界的科学发现。

先看第一组。在视觉领域,研究者用 MuJoCo 模拟场景做了一个组合视觉绑定测试,考察模型能不能同时记住"变化发生在哪里"和"发生了什么类型的变化",包括训练时从没见过的位置和操作组合。结果显示,在 DINOv3 和 SigLIP2 两种主流视觉骨干网络上,JEPA-Anything 都在关键指标上超过了标准 JEPA,比如 DINOv3 上的网格恢复指标从 0.645 提升到 0.659,碰撞率从 0.426 降到了 0.417。

在生物学领域,单细胞测序数据的处理向来是个难题,因为原始的基因表达数据极度稀疏,如果直接做重建,模型会把大量精力浪费在处理噪声和缺失值上,而不是学习真正有意义的细胞状态。研究者在这个场景下对比了三个模型:传统的 scGPT、加了 JEPA 思路但没有因子分解的 Cell-JEPA,以及完整版的 JEPA-Anything。结果很清楚,JEPA-Anything 在 PBMC 细胞聚类任务上拿到了 0.8301 的最高分,在两个基因扰动响应预测数据集(Adamson 和 Norman)上,皮尔逊相关系数分别达到 0.942 和 0.814,全部是三者中最高的。

再看临床预测这一块,这个任务的难度在于要同时预测超过 1000 种未来临床事件,而且很多事件本身发生率极低,属于典型的稀疏预测问题。研究团队用超过 800000 份英国生物样本库的纵向病历数据训练模型,对比了包括随机森林、XGBoost、Prophet 甚至 Qwen 系列大语言模型在内的一整排基线方法。最终排名榜上,JEPA-Anything 以 0.718 的平均 PRAUC 拿下第一,比标准 JEPA 高出一截,比排名靠后的随机森林方法高出整整 0.116。

PRAUC：精确率-召回率曲线下面积,专门用来评估在正负样本极度不平衡场景下模型的预测能力,数值越高越好。

第二组实验的重点是长程推演的稳定性,这也是我认为整篇论文最能体现设计价值的部分。

在 CITRIS Interventional Pong 这个受控的乒乓球游戏环境里,研究者测试了一种特殊的场景:系统的某个因素被外部改变了,模型收到改变前的画面和一个说明"发生了什么改变"的标签,任务是预测改变后的结果。这里分成两种难度,一种是单一因素被干预,这种模式在训练时见过;另一种是多个因素同时被干预,而这种组合在训练时完全没出现过,只是每个单独的干预类型都见过。后者考验的是模型能不能像搭积木一样,把学过的单个规则重新组合出一个从没见过的新场景。

结果显示,在单一干预的一步预测任务上,JEPA-Anything 把误差从 0.009541 降到了 0.006218,降幅高达 34.83%。在组合干预场景下,误差从 0.009441 降到 0.008223,降幅 12.90%。六步连续预测的误差也从 0.009478 降到 0.008665,降幅 8.58%。

这个结果背后有个很关键的信息:模型在没见过的组合场景下依然能保持不错的降幅,这说明它不是死记硬背了训练集里的完整干预模式,而是真的学会了每一种因素变化的独立规则,能够在新的场合把这些规则重新拼装起来。这就像一个真正学会了乐理的人,即便从没听过某首具体的曲子,也能凭着对和弦、节奏、旋律走向的理解,大致预判接下来的音符走向,而不是靠死记硬背某首曲子的谱子。如果只是背谱子,遇到一首全新的曲子就完全没法预测,但如果学的是规律,新曲子反而成了检验理解程度的最好机会。

在更大规模的动力学基准测试里,研究者横跨了十个任务,涵盖机器人操作、连续控制、偏微分方程模拟和天气预报,对比了标准 JEPA 和 JEPA-Anything。结果是全部十个任务,JEPA-Anything 都取得了更好的表现。其中 Burgers 方程的预测误差降幅最大,达到 39.7%,浅水方程紧随其后,降幅 39.3%。

偏微分方程：描述连续变化系统(比如流体运动、热传导)的数学方程,在物理学和工程学中广泛使用,是很多物理场模拟的基础。

在长程滚动预测上,论文里专门用 Burgers 方程做了一次极限测试,把模型一步步往前推演到第 100 步,同时还测试了训练时没出现过的高频振荡场景(相当于分布外测试)。结果显示,不管是常规测试还是分布外测试,JEPA-Anything 在第 20 步和第 50 步的误差都持续更低,虽然优势幅度随着推演步数增加有所收窄,但依然保持领先。

分子动力学模拟是另一个特别能说明问题的场景。研究者用一种类似 TrajCast 的等变网络架构,在水、石英、扑热息痛和苯这四个分子系统上进行了 100 步的自由自回归滚动预测。所谓自回归,就是模型的输出会变成下一步的输入,任何微小误差都会像滚雪球一样被不断放大。这套测试对预测的稳定性要求极高。结果表明,JEPA-Anything 在全部四个系统上,一步预测误差和 100 步累积误差都是最低的。比如在扑热息痛系统上,JEPA-Anything 的 100 步均方根位移误差只有 1.776 埃,而没有用 JEPA 预训练的从头训练版本高达 3.155 埃,加了标准 JEPA 但没有因子分解的版本也有 1.868 埃。

均方根位移：衡量分子模拟中原子实际位置和预测位置之间偏差的指标,数值越小说明预测越贴近真实轨迹,长时间累积后如果这个值持续攀升,说明模型的推演已经"跑偏"了。

在连续控制规划实验里,结果则更有意思,也更真实。研究者在 Hopper、Walker2d 和 HalfCheetah 三个经典的机器人运动环境里做测试,用一个交叉熵方法规划器,让模型在脑内模拟多条候选动作序列,选出预期回报最高的那条去执行。结果显示,JEPA-Anything 在 Walker2d 和 HalfCheetah 上的平均回报都超过了标准 JEPA,但在 Hopper 上反而是标准 JEPA 更占优势,差距约为 1.24。

论文没有回避这个不利结果,反而借此做了一次深入的因子功能验证。他们对 32 维的状态空间做了四个因子的拆分,每个因子 8 维,然后用简单的岭回归探测每个因子分别在预测什么运动学变量。结果发现在 Hopper 环境里,四个因子分别最擅长预测脚部角度、躯干高度、躯干角度和腿部角度,拟合优度分别是 0.294、0.347、0.424 和 0.310。接着他们做了一个更狠的测试,把某个因子替换成训练集上的平均值,相当于人为剥夺这个因子携带的具体信息,然后观察 20 步滚动预测误差和真实环境里的控制回报会怎样变化。结果是,不管遮蔽哪个因子,三个环境的滚动误差都会上升,在 HalfCheetah 上,遮蔽第一或第三个因子,五个训练种子里全部出现回报下降,遮蔽第二或第四个因子,五个里有四个出现下降。

这组实验最有价值的地方在于,它证明了这套因子分解不是一个花架子,四个因子全部处于活跃状态,而且每一个都真实参与了最终的决策过程,拿掉任何一个都会实实在在地损害表现。这就好比一个乐队里的四个乐手,你可能觉得贝斯手的存在感最弱,但如果真把他从舞台上撤下去,整首曲子的节奏骨架立刻会松掉,观众未必能说清哪里变了,但整体的听感确实变差了。

第三组实验,是我认为整篇论文里最出圈的一部分,因为它跳出了纯粹的数据指标,走进了真实的湿实验室。

从模型的因子坐标到真实的抗癌实验

这部分内容读起来很像科幻小说的开头,一个 AI 模型分析了一堆生物学数据里的因子坐标,给出了一个具体的干预建议,然后科学家们真的拿这个建议去做了实验,而且结果是阳性的。

具体来说,研究团队对多组学数据(转录组学、蛋白质组学、CRISPR 筛选数据)进行了因子级别的分析,模型提取出的因子坐标最终指向了一个候选干预方案:白介素 18 联合 NT5E/CD73 阻断。

白介素-18与CD73阻断：白介素-18是一种免疫信号分子,能够激活免疫细胞发起攻击;CD73是肿瘤细胞常用来抑制免疫攻击的一种蛋白酶,阻断它可以解除肿瘤对免疫系统的"刹车"。两者联用相当于同时踩下"加速"和松开"刹车"。

这个组合建议随后被送进了真实的实验环境验证,验证的层级一层比一层严格。第一层是细胞共培养实验,用肝癌细胞系 Huh7 和外周血单核细胞放在一起培养。第二层是患者来源的类器官模型,直接用真实肝癌患者的肿瘤组织培养出的三维细胞团块进行测试。第三层是患者来源的肿瘤片段,比类器官更接近真实肿瘤的组织结构。第四层是免疫功能完整的小鼠模型,这是最接近真实临床场景的验证方式。

结果显示,在三个不同患者的类器官样本和三个肿瘤片段样本里,白介素18加CD73阻断的组合方案,在杀伤肿瘤细胞的效果上都是所有测试条件里最强的,同时还观察到了免疫细胞活化水平的显著提升。图 8 里的柱状图清楚地展示了这一点,联合治疗组的柱子在几乎每个患者样本里都是最高的,而且是统计学显著的那种高,不是误差范围内的波动。

这件事的意义在于,它证明了这套因子分解学到的坐标不只是数学上干净漂亮,而是真的携带了某种可以被真实世界验证的生物学信息。这就好比一个天气预报模型,不仅预测出了明天会下雨,还准确说出了下雨的具体时间段和降雨量,而不是仅仅给出一个模糊的"可能有雨"。当然,论文也很克制地承认,正交因子本身并不能建立因果机制,这次成功更像是一次有价值的信号提示,而不是万能的因果发现工具。

科学分析组的另一个案例,是从天体轨道的模拟数据里,不带任何物理标签地重新发现了开普勒定律。

开普勒定律：描述行星轨道运动规律的物理定律,其中一条指出行星绕转周期的平方和轨道半长轴的立方成正比,换算成频率的话,轨道频率与半长轴的负三分之二次方成正比。

研究者用模拟的位置和速度轨迹数据训练模型,不告诉模型任何物理公式,只是让它去做纯粹的预测任务。事后,他们对学到的因子坐标做频谱分析,把提取出的频率模式和轨道半长轴配对,结果拟合出的斜率是负 1.4991,拟合优度 R 方达到 0.9999999,几乎完美贴合开普勒定律给出的理论值负 1.5。

这个结果乍看有点不可思议,一个只是在做预测任务的模型,居然从数据里"重新发现"了三百多年前开普勒总结出的物理规律,而且精度高到小数点后四位都对得上。但仔细想想,这恰恰印证了这篇论文最核心的主张:如果一个系统的动力学真的存在某种规律性,那么一个学会了准确预测这个系统的模型,内部大概率已经隐含地编码了这个规律,即便它自己"不知道"这叫开普勒定律。

写在后面

看完这篇论文,最触动我的其实不是那些漂亮的实验数字,而是那个开普勒定律的意外发现。

一个原本只是为了做预测任务而训练的模型,居然在无意中把三百多年前的物理定律重新推导了出来。这让我想到一个问题:我们平时说的"理解"到底是什么。如果一个系统能够精确预测某个现象的所有细节,它算不算已经理解了这个现象背后的规律,即便它从没被明确告知过这个规律的名字?

这篇论文里还有一个细节我觉得值得单独说一说,就是那个 Hopper 环境上因子分解反而输给了标准方法的结果。很多论文遇到这种不利结果会想办法绕过去,或者干脆不提。但这篇论文没有回避,反而借机做了一整套因子活跃度的诊断实验,最后证明即便整体回报略逊,四个因子依然全部在真实地参与决策。这种诚实,某种程度上比那些一路碾压的结果更让人信服。

这篇论文留下的一个悬而未决的问题是,当因子的数量和维度需要针对每个具体领域手动调整的时候,这套统一框架的"统一性"到底还剩多少。如果每换一个领域都要重新调一遍超参数,那这套框架究竟是真正意义上的"万能引擎",还是一套需要精心调校的"万能模板"?这个问题,恐怕要留给后续研究去回答了。

Q&A

Q1：JEPA-Anything是什么？

A：JEPA-Anything是一个跨领域的世界模型学习框架,核心思路是把预测目标拆解成多个互不重叠的正交因子,每个因子配一个专属预测器,再合成为完整的状态表示,同一套原理可以套用在视觉、生物、临床、控制、分子、物理场和天气七个不同领域。

Q2：正交预测因子分解相比标准JEPA有什么优势？

A：标准JEPA把所有预测目标塞进一个统一的目标向量,容易让易学的信息主导优化,弱结构被淹没。正交预测因子分解把目标拆成多个独立子空间分别学习,实验显示这能让干预预测误差降低34.8%,并在十个动力学任务上全部超过标准JEPA。

Q3：这篇论文提到的湿实验室验证具体做了什么？

A：研究团队从生物多组学数据的因子坐标中,分析出白介素18联合CD73阻断这一候选干预方案，随后在细胞共培养、患者来源类器官、肿瘤片段和小鼠模型四个层级的真实实验中验证，结果显示这一组合在抗肿瘤效果和免疫激活上均表现最强。