从机器人感知到智能理解：UC伯克利推出Robo2VLM，利用真实机器人操作数据训练视觉语言模型

**【研究背景与团队介绍】**

2025年5月，加州大学伯克利分校的研究团队Kaiyuan Chen、Shuangyu Xie、Zehan Ma和Ken Goldberg共同发表了一项创新研究，为机器人与人工智能领域带来了新的突破。这篇名为"Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets"的论文于2025年5月21日发布在arXiv预印本平台上（arXiv:2505.15517v1），探索了如何利用真实世界的机器人操作数据来增强视觉语言模型（VLM）的能力。

想象一下，当你教导孩子认识世界时，你不仅会告诉他们物体的名称，还会让他们亲手触摸、操作这些物体，从而建立更深刻的理解。同样的道理适用于人工智能系统。现有的视觉语言模型（如LLaVA、Llama和Qwen等）虽然通过互联网上的大量图像和文本学习了丰富的知识，但它们缺乏真实物理世界的互动经验，特别是在精细的空间关系理解和物理交互方面存在明显不足。

伯克利团队的研究就像是给这些"聪明但缺乏实践经验"的AI模型提供了一个动手学习的机会。他们创新性地提出了一个反向思路：通常我们使用视觉语言模型来帮助机器人理解场景和任务，但这次研究却是利用机器人在现实世界中的操作经验来反过来增强视觉语言模型的能力。这种机器人到视觉语言模型（Robot-to-VLM，简称Robo2VLM）的思路，开创了人工智能训练的新范式。

**【研究核心问题与创新点】**

当前视觉语言模型面临的核心挑战在于，它们所训练的图像-文本数据缺乏精细的空间信息，而这些信息对于机器人识别长尾物体、理解复杂场景、推理空间关系和规划物理交互至关重要。一些研究者试图通过模拟生成数据来解决这一问题，但模拟环境与真实世界之间存在明显差距，无法准确模拟真实世界的视觉属性（如噪声、杂乱和光照变化）和物理属性（如接触动力学和交互）。

相比之下，遥操作机器人轨迹包含了精确、结构化的本体感知和运动学信息，如关节角度、末端执行器姿态、抓取器状态和力-扭矩读数，这些数据隐含地编码了3D空间信息。伯克利团队提出的核心假设是：从机器人轨迹中提取的视觉和文本数据可以提高视觉语言模型的空间推理能力。

基于这一假设，研究团队开发了Robo2VLM，这是一个多选视觉问答（VQA）数据集生成框架。给定一个人类遥操作的机器人轨迹，Robo2VLM从非视觉和非描述性的传感模态（如末端执行器姿态、抓取器开口度和力感知）中提取地面真值。根据这些模态，它将机器人轨迹分割成一系列操作阶段。在每个阶段，Robo2VLM利用场景和交互理解来识别机器人、任务目标和目标物体的3D属性。这些属性用于生成基于空间、目标条件和交互推理问题模板的代表性VQA查询——图像和文本多选题。

**【研究方法详解】**

Robo2VLM的工作流程就像是一位细心的观察者，它不仅看到机器人的动作，还理解动作背后的目的和过程。首先，它将机器人轨迹定义为来自多个传感器模态的时间同步数据帧序列。每个时间步的数据帧包含了RGB图像、立体图像对（如果有）、末端执行器姿态、抓取器状态和力-扭矩向量等信息。

想象一下烹饪过程中的不同阶段：准备食材、下锅烹煮、翻炒调味、装盘上菜。类似地，Robo2VLM将机器人操作过程分解为几个关键阶段：接近、稳定、接触、释放和重置。它通过分析末端执行器姿态、抓取器开口信号和力-扭矩测量的序列来实现这一点。比如，当抓取器从开始慢慢闭合，并且力传感器检测到接触力时，系统就知道机器人正在执行"接触"阶段。

接下来，Robo2VLM设计了一系列视觉问题原型，每个原型都与特定的操作任务完成所需的机器人能力相对应，并锚定到不同的操作阶段。这些问题原型分为三类：空间推理、目标条件推理和交互推理。

空间推理专注于机器人对物体几何、可达性和跨视点空间布局的理解。比如"物体是否可以被机器人抓取？"或"抓取器和物体之间的相对方向是什么？"这类问题通常出现在早期的接近和稳定阶段。

目标条件推理探测机器人对任务的高级理解，包括目标推断、未来行动预测和整体任务成功。例如"任务是否失败？"、"机器人接下来会做什么？"和"机器人当前的动作阶段是什么？"这类问题贯穿从接近到重置的多个操作阶段。

交互推理关注物理交互动态，如抓取稳定性或机器人当前执行器状态。这些问题发生在稳定、接触和释放阶段，依赖于RGB、触觉或抓取器开口信号。比如，"这是一个稳定的抓取吗？"可能依赖于接触力读数或推断的物体位移。

**【数据集构建与特点】**

研究团队将Robo2VLM应用于开放X-实体（Open X-Embodiment）数据集中的176k多样化、真实世界的轨迹，生成了超过300万个VQA样本。Open X-Embodiment是一个主要的协作研究计划，汇总了来自22个不同机器人实体、35个研究实验室的机器人演示数据，包含超过100万个轨迹，涵盖500多种技能。

通过数据优化范式（如自然语言处理中的域重加权和机器人策略学习），研究团队精心策划了Robo2VLM-1，这是一个大规模的野外VQA数据集，包含684,710个问题，涵盖463个不同场景、3,396个机器人操作任务和149个操作技能。

Robo2VLM-1数据集的场景分布非常丰富，其中办公室场景占33.6%，实验室场景占25.3%，厨房场景占16.9%。任务类型也很多样，包括常见的操作动作如抓取（21.5%）、放置（20.6%）和移动（9.9%）。问题的平均长度为108.69个字符，每个问题平均有4.65个选项，选项的平均长度为14.22个字符。

**【实验评估与结果分析】**

研究团队从Robo2VLM-1中采样了60k个VQA问题，分为50k训练集和10k测试集，主要研究两个问题：(1) Robo2VLM-1训练集如何提高VLM的空间和交互推理能力？(2) Robo2VLM-1测试集在这些推理任务中有效评估VLM的能力程度？

他们对14种模型配置进行了评估，包括LLaVA、Llama 3.2和Qwen2/Qwen2.5-VL等开源模型，每个模型都在零样本和思维链（Chain-of-Thought，CoT）提示设置下进行评估。

评估结果表明，在Robo2VLM-1测试集上，Qwen模型与同配置的其他VLM相比具有更高的整体准确率。Qwen 2.5 VL-72B在零样本设置下获得了37.76%的最高准确率，而Qwen 2.5 VL-32B在CoT设置下获得了41.30%的整体准确率。Qwen模型在以物体为中心的类别中表现特别出色，如"物体状态"（Object State），Qwen 2.5 VL-72B在这一类别中的准确率达到了85.00%（零样本）和92.37%（CoT）。

有趣的是，零样本准确率通常随着模型规模的增加而提高——从30.63%（Qwen 7B）上升到37.76%（Qwen 72B）。然而，这一趋势在CoT设置中并不成立，32B模型的表现优于72B模型（41.30% vs. 39.52%）。这一观察与Qwen2.5的官方技术报告一致，报告指出Qwen2.5-VL-32B的数学和问题解决能力通过强化学习得到了进一步增强。

对于模型微调实验，研究团队使用Robo2VLM-1训练集对LLaVA 1.6进行了微调，并在Robo2VLM-1测试集上进行评估。他们将训练数据样本从10k增加到50k进行微调。随着微调数据的增加，大多数VQA类别的性能都有显著提升。"物体状态"理解的准确率从29.34%提高到80.24%，"任务状态-成功"的准确率也从47.65%提高到68.03%。其他类别也随着更多数据而显示出明显的积极趋势。

然而，在一些类别中，如"空间关系"和"任务状态-目标"，用有限数据（如10k）微调的表现不如未微调的基线。这可能是因为模型还没有看到足够多的特定任务示例来开始泛化，或者因为Robo2VLM-1中的问题格式与预训练中看到的格式不同，需要适应时间。

研究团队还进行了人类评估，覆盖了表3中定义的所有11个类别。对于每个类别，要求人类评估者随机回答来自Robo2VLM-1测试集的问题。他们使用平均成功率作为与三个模型（LLaVA 1.6-7B、LLaVA 1.6-7B-Finetuned和Qwen 2.5 VL-32B-CoT）在相同类别集上比较的参考。

结果显示，Qwen 2.5 VL-32B-CoT在某些任务上接近人类准确率，例如在"物体状态"类别中达到90.5%（相比人类的96.7%），在"交互阶段"类别中达到71.35%（相比人类的80.0%）。但在更复杂的空间推理任务中，如"空间关系"，人类达到60.0%的准确率，而最佳模型（经微调的LLaVa 1.6-7B）仅达到19.42%。这可能表明，即使从多个视角观察，单目图像可能缺乏准确确定空间关系所需的完整深度信息。

**【研究意义与未来展望】**

这项研究的意义在于首次提出了一种利用真实机器人感知数据来增强视觉语言模型的方法。通过Robo2VLM框架，研究者能够从机器人的物理交互中提取出有价值的空间和交互知识，进而提升视觉语言模型的推理能力。

与现有方法相比，Robo2VLM减少了对手动注释的需求，并实现了交互和物理属性推理，这在以前的VQA基准测试中很少被探索，如抓取器状态、抓取稳定性、任务目标以及关注机器人和目标物体的空间信息。

未来的工作将专注于将Robo2VLM推广到更广泛的机器人实体，并生成更多样化的数据集。研究团队还计划探索将在Robo2VLM-1上训练的模型部署到现实世界机器人任务中的可能性。

尽管如此，研究团队也承认Robo2VLM存在一定局限性。作为一个数据生成框架，它依赖于输入遥操作轨迹的质量。如果原始轨迹校准错误，它会影响生成的VQA数据的质量。或者，如果原始轨迹缺少实体传感模态，如NYU VINN（占176k轨迹的0.2%），则会限制Robo2VLM可以生成的问题数量。

总的来说，Robo2VLM为弥合视觉语言模型与物理世界之间的鸿沟迈出了重要一步，为未来的机器人智能和人工智能系统开辟了新的研究方向。