AI2和华盛顿大学联手，让机器"预知未来"：教会AI在三维空间中预测物体运动轨迹

这项由艾伦人工智能研究所（Allen Institute for AI）与华盛顿大学（University of Washington）联合主导、北卡罗来纳大学教堂山分校（UNC-Chapel Hill）参与的研究，于2026年6月17日以预印本形式发布，编号为arXiv:2606.18558。这项研究的名字叫做MolmoMotion，感兴趣的读者可以通过上述编号在arXiv平台上查阅完整论文。

**一、当机器需要"看懂"运动这件事**

人类从婴儿时期就开始学习一项极其重要的本领：预判物体接下来会往哪里移动。当你看到一个朋友举起咖啡杯时，你的大脑几乎在瞬间就能预测杯子会被送到嘴边，而不是被扔出窗外。这种"预知"能力听起来平淡无奇，却是人类与世界交互的基础——如果没有它，你甚至无法伸手接住别人抛来的钥匙。

对人工智能来说，这件事却一直是个难题。过去几十年里，AI领域的科学家们在"识别运动"这件事上取得了大量进展——比如追踪视频中的人物位置、分析摄像头画面中的车流变化。然而，识别已经发生的运动，与预测即将发生的运动，是完全不同的两件事。前者是在回顾过去，后者是在展望未来。

现实世界中，很多最重要的应用场景需要的恰恰是"展望未来"的能力。一台在厨房帮你做菜的机器人，必须提前判断锅铲移动到哪里才能翻炒食物；一个负责生成视频的AI模型，如果想让画面里的物体运动得像真的一样，就必须预先"想好"物体的运动轨迹；自动驾驶汽车在路口遇到过马路的行人时，更是需要在毫秒内预判行人的走向。

于是，来自艾伦人工智能研究所和华盛顿大学的研究团队提出了一个核心问题：能否训练一个AI模型，让它在看到当前场景、知道即将发生什么动作之后，精确地预测出场景中物体上每一个点将会走向何方？这就是MolmoMotion项目诞生的起点。

**二、为什么要在三维空间中追踪"点"，而不是追踪整个物体**

在深入了解MolmoMotion的具体做法之前，有必要先理解研究团队做出的一个核心设计选择：用三维空间中的"点"来表示物体的运动，而不是用其他更直观的方式。

考虑一种最直观的思路——直接让AI预测"接下来的视频画面长什么样"。这种方法确实存在，现在也有很多视频生成模型在做类似的事情。然而问题在于，生成整张画面需要AI花费大量精力去计算光线、颜色、背景纹理等与运动本身毫无关系的细节，效率极低，而且生成出来的"画面"也很难直接告诉机器人"把手臂移到哪个坐标"。

另一种思路是追踪物体的整体位置和姿态——比如记录一个杯子的中心点坐标和朝向角度。这种方法确实精简了很多，但它有一个致命弱点：它只适用于已知形状的特定物体。如果AI只学过如何追踪杯子，它就不知道如何追踪一只猫、一块布或者一根面条。

还有一种常见做法是在二维图像平面上追踪点的位置——比如在视频画面上标注某个点的像素坐标。但二维坐标有一个根本性的缺陷：它把物体的真实运动和摄像机的移动混在了一起，无法区分。如果摄像机往左移动了，画面里所有物体的像素坐标都会往右偏移，但其实物体本身可能根本没动。这样的数据拿来训练机器人，就会让机器人对不同拍摄角度产生极大困惑。

MolmoMotion的团队选择了第四条路：在真实的三维世界坐标系中，追踪附着在物体表面上的若干个点的运动轨迹。就好比在物体上贴几十个微型GPS追踪器，然后在三维地图上观察这些追踪器的移动路径。这种表示方式有三个显著优点：首先，它与物体的种类毫无关系，无论是刚性的金属块、柔软的布料还是会变形的动物，都可以用相同的方式描述；其次，三维世界坐标不受摄像机移动的影响，物体在哪里就是在哪里；第三，这些坐标可以直接告诉机器人"把抓手移到坐标(x, y, z)"，无需额外转换。

**三、MolmoMotion到底在做什么：任务的完整定义**

明确了用三维点来表示运动之后，研究团队对任务做了一个精确的定义，可以用一个具体场景来理解。

假设你正在看一段厨房的视频，画面中有一只手正准备拿起桌上的茶壶。你用鼠标在茶壶表面点了八个位置，系统自动从深度传感器获取这八个点在三维空间中的精确坐标。与此同时，你输入了一段文字指令："把茶壶里的水倒进红色的碗里"。AI模型看到这一切之后，需要预测在接下来的一段时间内（比如两秒钟），这八个点各自的运动轨迹——也就是说，每个点在每一个时间步上的三维坐标是多少。

这个任务的难点在于，仅凭视觉画面本身，物体的运动方向往往是不确定的。同样是举起茶壶，可以倒水进碗里，可以放到另一个架子上，也可以只是挪个位置。文字指令在这里起到了关键的"方向指引"作用，让AI知道接下来发生的是哪种运动，从而大幅缩小需要预测的可能性范围。

**四、训练AI需要大量数据：MolmoMotion-1M数据集的诞生**

要让AI学会预测三维运动轨迹，必须给它看大量的"示例"——也就是大量已知运动轨迹的视频片段。然而现实情况是，带有三维运动标注的视频数据极为稀缺。现有的三维捕捉数据集要么规模太小，要么拍摄场景太单一，根本不足以训练一个能适应各种现实场景的通用模型。

研究团队的解决思路是：互联网上有海量的普通视频，虽然这些视频天生没有三维标注，但可以通过自动化的分析方法，把三维运动信息从视频中"挖掘"出来。于是他们设计了一套完整的自动标注流水线，处理了约116万个视频片段，最终生成了一个名为MolmoMotion-1M的超大规模数据集，这也是迄今为止规模最大的"有动作描述、有物体定位、有三维运动轨迹"的视频数据集。

这套流水线的工作流程可以类比成一个勤劳的实习生在处理档案。第一步，给每段视频配上对应的动作描述文字——有些视频本身有说明文字，有些则需要用另一个AI模型自动生成描述，比如"把工具移到碗里"。第二步，根据动作描述，找出视频中哪个物体是"主角"——比如在"拿起红色杯子"这个描述中，红色杯子就是需要追踪的对象。这里使用了MolmoPoint这个工具，它能根据动作描述直接在图像中定位物体的大致位置，再配合SAM3这个分割工具，精确勾勒出物体的形状轮廓，然后在轮廓内均匀采样约100个查询点。第三步，用AllTracker这个工具追踪这些点在视频各帧中的二维位置，同时用ViPE这个工具估算视频每一帧的深度信息和摄像机姿态，再通过数学计算把二维追踪结果"抬升"到三维世界坐标。第四步，由于自动计算难免有误差，需要对轨迹进行质量筛选和平滑处理——通过检查同一物体上各点之间的相对距离是否保持稳定来判断轨迹是否可靠，剔除不可信的点，并对剩余轨迹做去噪平滑。第五步，很多视频在动作发生前后有大量静止画面，没有学习价值，因此会自动把视频裁剪到物体真正在运动的那段时间。

经过整个流水线处理，最终产出的数据集覆盖了736种不同的动作词汇和5692种不同的被操作物体，数据来源横跨第一人称的家务操作视频、第三人称的机器人操作视频以及户外的人与动物运动视频。

**五、检验AI的考卷：PointMotionBench评测基准**

有了训练数据，还需要一把衡量AI到底学得怎么样的标尺。研究团队同时构建了一个名为PointMotionBench的评测基准，专门用于检验三维运动预测模型的性能。

与训练数据不同，评测基准要求更高的标注质量，必须确保"标准答案"本身足够准确。因此评测基准的数据来源经过了更严格的筛选：其中一部分来自HOT3D数据集，这个数据集使用真实的三维扫描仪记录人手与物体交互时的精确三维位置，直接从物体三维模型的表面取点作为追踪目标，精度极高；另一部分来自WorldTrack数据集，这个数据集使用专业动作捕捉设备记录室内场景中的运动；还有一部分来自DAVIS视频分割数据集，这部分覆盖了户外自然场景，通过运行与训练数据相同的自动标注流水线生成三维轨迹，然后由人工逐一核验。所有数据集的动作描述文字也经过了人工验证，确保描述与实际画面相符。最终的评测基准包含742段视频片段，涵盖111种物体类别和61种运动类型。

评测时使用三个核心指标：ADE（平均位移误差）衡量模型预测的轨迹与真实轨迹在每个时间步上的平均偏差，FDE（终点位移误差）专门衡量运动结束时的位置误差，PWT（阈值内点比例）统计有多大比例的预测位置与真实位置的偏差在不同容忍范围（0.01米到0.20米不等）内。

**六、MolmoMotion模型本身：两种互补的预测机器**

研究团队设计了MolmoMotion模型来完成三维运动预测任务。这个模型的底座是一个叫做Molmo2的视觉语言模型——可以把它理解成一个既能"看"图像又能"读"文字的AI大脑，具有47亿个参数。MolmoMotion在这个大脑基础上，添加了专门用于处理运动预测的"附加组件"。

在接收输入时，模型会把三类信息整合在一起：图像输入部分负责处理历史观测帧（最多3帧），提取画面中的视觉特征；文字输入部分负责处理动作描述，理解即将发生的是什么事情；查询点输入部分会在图像特征图上对应查询点的位置采样，提取每个待追踪点的局部视觉特征，生成专属的"点标记"。三类信息拼接之后送入Molmo2的语言模型组件统一处理，产生融合了视觉、语言和物体位置信息的综合表示。

在输出预测时，研究团队提供了两种不同的解码方案，两者在设计哲学上存在有趣的差异。

第一种叫做自回归预测变体。这种方法把三维坐标转换成文字来表达——具体来说，先把坐标值量化到毫米精度，然后序列化成带有时间戳和点编号的文字字符串，让模型像生成文章一样，一个字一个字地生成未来的轨迹文本。由于这种方式按时间顺序逐步生成，后面时刻的预测会参考前面时刻已经生成的内容，因此能够保持时间上的连贯性，就像写故事时前后情节要呼应一样，产生平滑自然的运动轨迹。这种方式的缺点是速度比较慢，因为生成很长的文字字符串需要时间。

第二种叫做流匹配预测变体。这种方法的思路完全不同——它不是逐字生成，而是在连续的三维坐标空间中直接建模"运动轨迹的分布"。可以把它理解成这样一种过程：先随机生成一团完全混乱的"噪声轨迹"，然后模型学会如何逐步把这团混乱的噪声"雕刻"成符合输入条件的合理运动轨迹。实现时使用了一种叫做DiT的解码器结构，包含36个处理层，每一层都会从Molmo2的对应层取来视觉语言特征作为参考，指导轨迹的逐步优化。推理时从高斯噪声出发，运行10步迭代优化，最终得到预测轨迹。这种方式速度快很多，但在单一最优轨迹的预测精度上略逊于自回归方式。

两种方式都采用了一个聪明的坐标表示技巧：不直接记录绝对坐标，而是记录相对于第一个查询点的相对位移。这样做能大幅减小坐标数值的变化范围，让模型更容易学习。

**七、MolmoMotion vs. 其他方法：正面交锋的结果**

在PointMotionBench上，研究团队把MolmoMotion与多种现有方法进行了系统对比，参与对比的方法覆盖了几个不同的技术流派。

最简单的两个基准方法是"静止"（Static）和"外推"（Extrapolate）——前者假设物体根本不动，后者假设物体以恒定速度持续运动。这两种方法不需要任何学习，完全依赖简单的规则。

像素空间方法代表了"先生成未来视频，再从视频里提取轨迹"的思路，参与对比的有Wan2.2（50亿参数的视频生成模型）和Cosmos Predict（来自NVIDIA的视频生成模型）。

三维物体模型方法代表了"先预测物体姿态，再推算点的运动"的思路，包括ObjectForesight、EgoScaler和Robot4DGen。

二维轨迹方法代表了"在图像平面上追踪点"的思路，代表是Track2Act。

最终结果显示，MolmoMotion的自回归变体在几乎所有测试数据集和所有评测指标上都取得了最佳成绩。以HOT3D数据集为例，MolmoMotion-AR（使用3帧历史）的平均位移误差为0.109米，而最接近的竞争对手ObjectForesight达到0.129米，其余方法大多在0.150至0.200米以上。在终点误差和阈值内点比例方面，MolmoMotion同样全面领先。

一个颇为耐人寻味的发现是：两个最简单的非参数基准方法——什么都不做的"静止"和线性外推的"外推"——在某些测试集上的表现竟然优于或相当于像素空间视频生成方法。这说明那些花费大量计算资源生成"好看"视频画面的模型，并不必然能从视频中提取出准确的物理运动信息。视觉上合理，不等于几何上精确。

流匹配变体MolmoMotion-FM在速度上具有显著优势——在相同的硬件上，N=8个点、预测32个时间步的情况下，流匹配版本每个片段只需1.1秒，而自回归版本需要148.4秒，约为前者的135倍。因此在对响应速度有严格要求的应用场景（比如实时机器人控制）中，流匹配版本是更实际的选择。

**八、三维运动预测的知识能够"迁移"到机器人身上**

学术评测做得再好，还需要证明这种技术在现实应用中确实有价值。研究团队选择了机器人操控作为第一个下游应用来验证迁移效果。

背后的直觉很有道理：无论是人手还是机械臂，要想成功地把一个物体从A点移动到B点，物体本身的运动轨迹在三维空间中应该大体相似，因为这是任务本身的物理约束决定的，与操控者是人还是机器无关。因此，从人类操作视频中学到的三维运动先验知识，理论上应该对机器人有用。

具体实验设计如下：研究团队训练了两个MolmoBot机器人策略模型，两者结构完全相同，唯一区别在于主干网络的初始化权重——一个从Molmo2的预训练权重初始化，另一个从MolmoMotion的权重初始化。两个模型在相同的数据上训练（来自MolmoSpaces仿真平台的2万个拾取放置任务示例），在相同的测试场景中评估，测试分为四种情况：已见过的场景与已见过的物体、已见过的场景与未见过的物体、未见过的场景与已见过的物体、未见过的场景与未见过的物体。

结果相当有力：MolmoMotion初始化的模型在训练10000步时就达到了51%的成功率，而Molmo2初始化的模型在同样步数时只有19%；完整训练结束后，MolmoMotion初始化的模型平均成功率为76.3%，而Molmo2初始化的模型只有56.0%。更重要的是，在涉及未见过的物体和未见过的场景的测试条件下，MolmoMotion初始化模型的成功率下降幅度更小，说明它的泛化能力更强。

此外，研究团队还在真实世界的机器人视频数据集DROID上进行了迁移实验。在DROID的单摄像头视频上运行相同的三维轨迹标注流水线，生成训练数据，然后用MolmoMotion和Molmo2分别作为初始权重进行微调。结果同样显示，MolmoMotion初始化的版本起始误差更低，收敛速度约为Molmo2初始化版本的六倍。

**九、预测出的运动轨迹还能指挥视频生成**

除了机器人，研究团队还探索了另一个下游应用：用MolmoMotion预测的三维轨迹来指导视频生成模型，让生成出来的视频中物体运动得更真实。

这个实验的流程可以这样理解：给定一张初始图像和一段动作描述，先用MolmoMotion预测出物体上若干查询点在接下来时间内的三维运动轨迹，然后把这些轨迹信息输入一个叫做DaS的轨迹引导视频生成模型，由DaS负责生成符合这个运动轨迹的完整视频。作为对比，同时测试了两个不使用轨迹引导的视频生成模型：CogVideoX-5B（DaS的底座模型）和Wan2.2-I2V-A14B（参数量约为前者2.8倍的大模型）。

使用VBench视频质量评测框架来量化结果，涵盖五个维度：时间一致性（相邻帧之间内容是否连贯）、主体一致性（被操作物体的特征是否在整个视频中保持稳定）、运动平滑性（运动过程是否流畅自然）、动态程度（画面是否有足够的运动量，而不是静止的）、背景一致性（背景是否在运动过程中保持稳定）。结果显示，DaS加上MolmoMotion的组合在五项指标中的四项上优于体量更大的Wan2.2模型，在全部五项上都优于CogVideoX-5B。从定性对比图来看，MolmoMotion引导的视频中物体运动更加符合物理直觉，物体形态保持得更完整，也更能准确反映文字描述的动作意图。

**十、模型设计的每个细节都经过了验证**

研究团队还进行了一系列消融实验，系统验证了模型中各个设计选择的重要性，这类实验的逻辑类似于厨师在测试一道菜谱时，逐一去掉某种食材来确认它的作用。

最重要的设计选择是使用锚点相对坐标——也就是用相对位移而非绝对坐标来表示三维位置。去掉这个设计后，平均位移误差在所有测试数据集上都上升了约50%，说明这个看似简单的坐标转换对模型学习至关重要。

第二重要的设计是语言指令输入。把动作描述文字替换成一个无意义的固定词之后，误差同样大幅上升，尤其在DAVIS户外数据集上影响最为明显。这说明文字指令不只是在帮助区分操作哪个物体，更在提供运动方向的先验知识，补充了单张图像无法传达的意图信息。

查询点的二维视觉特征也有贡献，去掉之后误差上升约5%到8%，在物体在画面中占比较小的场景下（如DAVIS数据集）影响尤为突出，说明局部视觉特征帮助模型更精确地定位每个追踪点。

将每个物体的查询点数量从8个增加到16个，能带来2%到3%的误差改善，但代价是序列长度翻倍，超出了当前语言模型的上下文窗口限制，因此在当前技术条件下8个点的设置是更实际的平衡点。

**这一切对我们意味着什么**

说到底，MolmoMotion做的事情可以这样概括：通过大规模自动标注，收集了迄今最丰富的"人做动作时物体怎么移动"的三维数据，然后用这些数据训练出一个能够根据文字指令预测物体未来三维轨迹的模型，并且证明这种预测能力可以帮助机器人学得更快、泛化得更好，还能让视频生成模型产出更真实的运动画面。

当然，这项研究也坦诚指出了当前的局限性。每次预测只能处理8个查询点，这对于理解物体的精细结构和复杂的形变运动来说还不够密集。而且机器人在仿真环境中的实验虽然表现良好，真实世界中的闭环机器人测试尚未完成，还需要后续工作来验证。

不过，这项研究提供了一个很有说服力的论据：让AI学会用三维语言来理解和预测物体运动，比让它生成视觉上好看的视频或者依赖特定物体模板，是一条更通用、更高效、更容易迁移的路径。从互联网上普通人做家务的视频中提取出来的三维运动知识，可以直接用来让机器人变得更聪明——这个想法本身就很有趣，值得持续关注它在未来会走向哪里。有兴趣深入了解技术细节的读者可以通过arXiv:2606.18558查阅完整论文。

Q&A

Q1：MolmoMotion是什么？

A：MolmoMotion是由艾伦人工智能研究所和华盛顿大学联合开发的运动预测模型，它能根据输入的图像、物体上的查询点坐标和文字动作描述，预测这些查询点在未来时间段内的三维运动轨迹。简单说，就是告诉AI"接下来要把茶壶倒水"，AI会预测茶壶上每个点将走向哪里。

Q2：MolmoMotion-1M数据集是怎么来的？

A：研究团队设计了一套自动标注流水线，处理了约116万段普通网络视频。流水线会自动识别视频中的运动物体，追踪物体表面的点在各帧画面中的位置，再通过深度估计和摄像机姿态计算把二维追踪结果转换成三维坐标，最后筛选掉质量不可靠的数据，生成带有动作描述和三维轨迹的完整训练样本。

Q3：MolmoMotion的运动预测能力是怎么帮助机器人的？

A：研究团队用MolmoMotion训练过的权重来初始化机器人策略网络，而不是从普通视觉语言模型权重开始训练。结果显示，MolmoMotion初始化的机器人在相同训练步数下成功率大约高出20个百分点，在处理从未见过的物体和场景时表现也更稳定，这说明从人类操作视频中学到的三维运动知识可以有效迁移到机器人的操控任务中。