RoboMaster：协作式轨迹控制让机器人抓取物体变得更加真实自然

本篇研究来自中国香港中文大学、快手科技和浙江大学的联合团队，由Xiao Fu、Xintao Wang、Xian Liu、Jianhong Bai、Runsen Xu、Pengfei Wan、Di Zhang和Dahua Lin共同完成，发表于2025年6月的arXiv预印本平台（arXiv:2506.01943v1）。

一、让机器人在视频中表现得更加自然：RoboMaster的诞生背景

想象一下，你正在教一个机器人如何拿起桌子上的勺子并把它放在平底锅的左边。你希望机器人的动作看起来自然流畅，就像人类一样，而不是僵硬机械的。这正是本研究要解决的核心问题。

近年来，基于视频生成的技术取得了显著进步，这些技术能够模拟逼真的环境，为机器人学习提供丰富的训练数据。尤其是轨迹控制型的视频生成方法，更是为精细控制机器人规划提供了可能。但现有的方法主要关注单个物体的运动，难以捕捉机器人与物体之间的复杂交互过程，尤其是在抓取和操作物体时，视觉效果往往会变得不自然。

为什么会出现这个问题呢？就像两个舞者同时在同一个舞台上表演不同的舞蹈会相互干扰一样，现有方法在处理机器人手臂与物体重叠区域时，会出现特征纠缠的问题，导致生成质量下降。研究团队形象地将这种现象描述为"重叠区域的特征混淆"，就像两种颜色的颜料混在一起，难以保持各自的特性。

为了解决这个问题，来自中国香港中文大学和快手科技的研究团队提出了一个名为"RoboMaster"的创新框架。与以往将物体分解的方法不同，RoboMaster采用了一种全新的思路：将交互过程分解为三个阶段，并通过"协作式轨迹"来建模整个交互动态。

二、协作式轨迹：RoboMaster的核心创新

传统方法像是在指挥两个独立的演员，一个是机器人手臂，一个是被操作的物体，各自按照自己的剧本（轨迹）演出。这在交互区域会造成"表演冲突"——视觉质量下降、物体变形甚至消失。而RoboMaster则像一位优秀的导演，将整个表演分为三幕：前奏（交互前）、高潮（交互中）和尾声（交互后），在每一幕中都明确谁是主角，谁是配角。

具体来说，RoboMaster将机器人操作任务分解为三个阶段： 1. 交互前阶段：机器人手臂作为主导者向目标物体移动 2. 交互阶段：物体作为主导者被机器人手臂操作 3. 交互后阶段：机器人手臂再次成为主导者，完成任务

这种分解方式的灵感来自于一个简单的观察：在真实的抓取过程中，机器人手臂先主动接近物体；当接触发生时，物体的运动实际上反映了对机器人手臂操作的物理响应；最后，手臂完成任务并可能离开。

通过这种方式，RoboMaster避免了特征纠缠问题，因为在每个阶段都有一个明确的"主角"。就像在电影中，导演会确保重要场景中主角得到适当的镜头关注，而其他角色则适当淡出。

三、对象表示：保持物体的一致性

除了创新的轨迹设计，RoboMaster还解决了另一个关键问题：如何确保物体在整个视频中保持一致的外观和形状。想象一下，如果你看到一个红色的苹果突然变成了绿色，或者一个方形的盒子变成了圆形，那么视频就会显得非常不真实。

研究团队采用了一种巧妙的方法来解决这个问题。他们使用了基于掩码的表示方法，将物体的外观（如颜色、纹理）和形状信息编码到一个统一的表示中。这就像是给每个物体创建了一个"身份证"，确保它在整个视频中保持一致的身份。

具体来说，他们首先通过VAE（变分自编码器）将输入图像编码为潜在特征。然后，他们对物体掩码进行下采样，使其与潜在特征的空间分辨率匹配。接着，他们使用掩码从潜在特征中提取物体特征，并应用池化操作生成物体的嵌入表示。最后，他们将这些特征表示为以轨迹点为中心的圆形体积，半径与掩码区域成比例。

这种方法就像是给每个物体配备了一个"身份保护罩"，即使在复杂的交互过程中，也能保持其外观和形状的一致性。

四、用户友好的交互设计

RoboMaster不仅在技术上有创新，还特别注重用户体验。想象一下，如果你要教一个朋友如何使用一个新工具，你肯定希望这个过程尽可能简单直观。同样，RoboMaster的设计也考虑到了用户的使用便捷性。

传统方法通常要求用户为机器人手臂和物体分别提供完整的轨迹，这就像要求同时指挥两个演员的每一个动作，非常繁琐。而RoboMaster简化了这个过程，用户只需要： 1. 提供一个文本提示，描述要执行的任务（如"拿起勺子放在锅的左边"） 2. 使用简单的刷子工具标记要操作的物体 3. 指定交互的起始和结束时间点 4. 在一个统一的运动路径中定义分解的子轨迹

这种设计大大提高了用户交互的灵活性和容错性。即使用户提供的物体掩码不完整或粗糙，系统也能保持稳健的性能。这就像是一个智能助手，即使你的指令不够精确，它也能理解你的意图并正确执行。

五、实验结果：RoboMaster的优越性

研究团队在Bridge V2数据集上进行了大量实验，该数据集包含各种机器人操作技能，如移动、拿取、打开、关闭、竖直放置、倾倒、倒出、擦拭和折叠等。他们将RoboMaster与现有的轨迹控制视频生成方法进行了比较，包括Tora、MotionCtrl、DragAnything和IRAsim。

实验结果表明，RoboMaster在视觉质量和轨迹准确性方面都优于现有方法。具体来说，RoboMaster的FVD（Frechet视频距离）为147.31，而最接近的竞争对手Tora为152.28；在PSNR（峰值信噪比）方面，RoboMaster达到了21.55，而Tora为21.24。轨迹误差方面，RoboMaster的机器人轨迹误差为16.47，物体轨迹误差为24.16，均低于其他方法。

这些数字可能看起来有点抽象，但简单来说，就像是在比赛中，RoboMaster在所有评分项目上都获得了第一名。更重要的是，在用户研究中，47.33%的参与者更喜欢RoboMaster生成的视频，远高于其他方法。

研究团队还在野外（in-the-wild）场景中测试了RoboMaster的泛化能力，结果表明它能够处理各种不同的物体和环境，展现出强大的适应能力。就像一个经验丰富的厨师不仅能在自己熟悉的厨房工作，还能适应各种不同的厨房环境一样。

六、技术细节：深入了解RoboMaster的工作原理

RoboMaster基于预训练的CogVideoX-5B架构实现，使用480×640分辨率和37帧长度进行训练和推理。训练过程在8台NVIDIA A800 GPU上进行，使用AdamW优化器，DiT块的学习率为2×10^-5，运动注入器的学习率为1×10^-4，总批量大小为16。训练进行了30,000步。在推理时，使用50个DDIM步骤，CFG尺度设为6.0。

虽然这些技术细节听起来可能有点复杂，但可以将其理解为制作一道精美菜肴的具体步骤：使用什么设备，火候调到几度，烹饪多长时间等。这些细节确保了最终的"菜肴"——生成的视频——具有高质量和真实感。

模型注入器是RoboMaster的关键组件之一，它负责将协作轨迹潜在表示融入到基础模型中。它首先将轨迹潜在表示V进行分块，然后通过2D空间卷积层和1D时间卷积层进行编码，生成紧凑的表示V。然后，它将前一个DiT块的隐藏状态h与轨迹潜在表示（V及其组归一化输出）结合，并传递给剩余的DiT块。

这个过程就像是一位指挥家，将不同乐器（机器人手臂和物体）的乐谱（轨迹）融合成一个和谐的交响曲（生成的视频）。

七、局限性与未来工作

尽管RoboMaster取得了显著的进步，研究团队也坦诚地指出了一些局限性：

首先，当应用于领域外输入时，RoboMaster可能会产生不完整或变形的物体。这就像是一位厨师，虽然在烹饪意大利面方面经验丰富，但在制作寿司时可能会遇到困难。解决这个问题的方法是使用更多样化的物体类别进行训练，丰富语义和几何变化。

其次，当前框架仅在2D像素空间中运行，缺乏深度信息。这就像是在一个平面画布上作画，而不是在3D空间中雕刻。未来的工作可以考虑整合深度线索，实现更准确的3D控制。

最后，泛化到各种机器人实体仍然是一个挑战，需要扩展训练数据以涵盖更广泛的机器人配置。这就像是让一个演员能够扮演各种不同的角色，需要更丰富的培训和经验。

八、总结与展望

RoboMaster通过其创新的协作轨迹设计，成功解决了机器人操作视频生成中的关键挑战。它不仅在视觉质量和轨迹准确性方面超越了现有方法，还提供了更直观的用户交互体验。

这项研究的意义不仅限于计算机视觉或机器人学领域。它为创建更真实、更自然的机器人模拟环境铺平了道路，这可能对机器人学习、人机交互、虚拟现实等多个领域产生深远影响。

就像一位优秀的导演能够指导演员自然流畅地表演，RoboMaster能够生成自然、逼真的机器人操作视频，为未来的机器人技术发展提供了有力的工具和思路。

有兴趣深入了解这项研究的读者可以访问论文项目页面：https://fuxiao0719.github.io/projects/robomaster/，或查阅原始论文获取更多技术细节。