香港科技大学让机器人"白天探索、夜晚复习"，用500张图片训练出超越人工标注数据集的操作系统

这项由香港科技大学（广州）与香港科技大学联合领导的研究，于2026年5月13日以预印本形式发布在arXiv平台，论文编号为arXiv:2605.13775。研究提出了一个名为RoboEvolve的机器人操作训练框架，核心思路是让两种人工智能模型互相"教"对方，从而在几乎没有人工标注数据的情况下，让机器人学会越来越复杂的操作技能。

一、机器人为什么这么难训练

要理解这项研究解决了什么问题，可以先想象一下教小孩叠衣服是什么感觉。你不可能只用语言描述"先对折，再对折，然后压平"就指望孩子立刻做好——你需要一遍一遍地示范，让孩子跟着做，失败了纠正，成功了鼓励。这个过程费时费力，但对人类来说还算自然。

对机器人来说，这个过程要难得多，而且贵得多。每一条高质量的机器人操作数据，都需要工程师或操作员手把手示范，精确记录每一帧的动作和状态，再打上详细标注。这就好比要给每一次叠衣服都拍摄4K纪录片，并配上逐帧字幕——成本之高可想而知。正因为这种数据的稀缺性，机器人智能的发展长期受到"没有足够的教材"这一根本瓶颈的制约。

研究人员自然而然地想到了两条捷径。第一条是借助视觉语言模型（可以理解为一种既能看图又能理解文字的AI大脑），让它来充当机器人的"规划师"，直接根据场景图片给出操作步骤。这类模型在理解"把碗放到桌上"这种语义上确实表现出色，但它对物理世界的感知仅仅停留在文字和图片层面，就像一个从没动手做过饭的美食评论家——说起来头头是道，真正下厨却漏洞百出，给出的指令常常在现实中根本无法执行。

第二条捷径是借助视频生成模型（一种能根据文字描述生成逼真视频的AI）来模拟机器人的操作过程，自动合成大量训练视频，省去人工示范的成本。这类模型的问题则恰好相反——它能生成看起来流畅漂亮的视频，但那些视频里的物理逻辑常常漏洞百出，比如碗还没被拿起就已经到了目标位置，或者机械臂穿透了桌面——这类"视觉上合理、物理上荒谬"的错误，研究者称之为"物理幻觉"，就像一部特效华丽但剧情漏洞遍地的科幻电影。

香港科技大学的研究团队发现，这两种模型恰好有着互补的弱点：规划师有语义理解能力但缺乏物理感知，模拟器有物理生成能力但缺乏语义约束。于是他们提出了一个大胆的问题：如果让这两个模型互相纠错、互相成长，会发生什么？

二、白天探索、夜晚复习——向人类学习节奏的AI

RoboEvolve的核心设计灵感来自认知科学中的"互补学习系统理论"。这个理论描述了人类大脑中两套协同工作的学习机制：一套负责在日间主动探索新事物，快速形成初步经验；另一套则在夜间睡眠时，通过回放日间记忆、筛选重要经验，将知识巩固到长期记忆中。

研究团队把这个机制完整地搬进了RoboEvolve。整个系统包含两个核心角色：一个是"规划师"，由Qwen3-VL-4B这款视觉语言模型担任，负责理解场景、制定操作计划；另一个是"模拟器"，由Wan2.2-TI2V-5B这款视频生成模型担任，负责根据计划生成操作视频，相当于在虚拟环境中"演练"这个计划。

整个训练过程被分成循环往复的"白天"和"夜晚"两个阶段。

白天阶段的任务是探索。规划师拿到一张场景图片（比如厨房台面上摆着碗、锅和蔬菜），先识别场景中有哪些物体、它们之间的空间关系是什么、哪些物体可以被抓取、哪些可以被推动。基于这些信息，规划师生成多个候选操作计划，比如"拿起番茄，放进锅里"或"把绿色布巾移到锅的左边"。模拟器则根据这些计划生成一批操作视频，每个计划生成16个不同版本。

接下来，规划师作为"评委"，对这些视频进行评分。评分标准分为三个层次：最基础的是帧级连续性——物体有没有在两帧之间突然消失或者瞬移？其次是片段级执行度——每一个子动作（比如"抓取"、"提升"、"放置"）有没有清晰地在视频中出现？最高层是整体成功率——任务最终有没有完成？在这三项物理评分之前，还有一个语义对齐检查——视频呈现的内容是否真的符合原始指令？如果一个视频显示的是移动一个红碗，但指令是移动一个绿碗，那么无论物理动作多么流畅，都会被语义检查拦截，物理分数归零。

这个评分机制被称为"语义控制的多粒度奖励"，它的精妙之处在于用语义一致性作为门控开关：只有当视频内容与指令语义匹配时，物理评分才会生效。这防止了模拟器学会一种取巧行为——生成物理逻辑完美但与任务无关的视频来骗取高分。

用这些评分，系统通过一种叫做"群体相对策略优化"（GRPO）的强化学习方法来训练模拟器：在同一任务的16个视频版本中，得分高的版本被鼓励，得分低的被惩罚，模拟器逐渐学会生成更符合物理规律和语义要求的视频。

夜晚阶段则是沉淀。白天积累了大量操作视频，其中有成功的，也有失败的。夜晚学习的关键洞察在于：失败的经验并非垃圾，而是宝贵的教材——尤其是那些"差一点就成功"的失败案例，研究者称之为"近失误"样本。

举个例子，一个视频完美地执行了抓取和提升动作，但最后放置时偏离了目标——这个视频的帧级连续性和片段级执行度都过关，只是最终成功率为零。这样的视频不应该被丢弃，而应该与真正成功的视频配对，形成"好的结果vs接近好的结果"的对比，告诉系统：这两个视频几乎一样好，但最后那一步的差别才是关键。

这种配对学习方式叫做"直接偏好优化"（DPO），其核心思路是让模型通过对比"好"与"次好"来精细调整自己的行为，而不是粗暴地只奖励完全成功、惩罚所有失败。

对规划师的夜晚训练则更为精细，分为三个层次：第一层是计划级学习，给定一张初始场景图，规划师要学会倾向于在多次独立采样中"投票多数一致"的方案，而不是少数派方案；第二层是理解级学习，给定一段高分视频，规划师要能正确描述视频中发生了什么，而不是错误地描述另一个相似但不同的动作；第三层是过渡级学习，给定操作的初始帧和结束帧，规划师要能推理出中间发生了什么操作，内化物理状态变化的因果逻辑。

这三个层次分别打磨规划师的不同能力：逻辑一致性、视觉感知准确性和因果推理能力，共同作用下的规划师变得更加"接地气"，生成的计划更符合物理现实。

三、从简单到复杂——自动调节的课程表

任何学习过程都需要一个合理的进度安排。直接让初学者面对最难的题目，结果往往是一无所获。RoboEvolve为此设计了一套自动化的"课程进度系统"。

首先，系统把所有可能的操作任务分解为"原子动作"——这是操作的最小单元，比如"抓取(X)"、"放置(X, 目标)"、"推动(X, 方向)"、"折叠(X)"等，一共定义了13类基础任务模板和对应的13种原子动作。每个原子动作的"难度成本"都是1分，一个任务的总难度就是其包含的原子动作数量之和。只包含一个"抓取"动作的任务难度为1，包含"抓取+放置+推动"的任务难度为3，以此类推。

系统从最简单的难度1任务开始训练，持续追踪每个难度等级上的成功率。当简单任务的成功率趋于饱和、提升空间变小时，系统会自动把训练重点转向下一个难度级别，就像游戏里自动解锁下一关。

这个切换的决策由一个数学公式驱动，它综合考虑两个因素：当前该难度等级上还有多少提升空间（最近几次训练后成功率提高了多少），以及该难度等级被探索得是否足够充分（探索越少的难度，机会越大）。这个策略被称为"置信上界策略"，它保证系统既不会在已经掌握的任务上浪费资源，也不会鲁莽地跳过关键的基础训练。

四、只用500张图片就够了

整个系统的启动非常简洁——研究人员只需要提供一批未经任何标注的普通图片，也就是随便从真实厨房或工作台拍摄的照片，不需要告诉系统图片里有什么、哪些东西可以被操作、应该执行什么任务。

规划师负责从这些图片中自动提取结构化信息。为了防止单次提取时出现幻觉（比如"看到"一个实际上不存在的物体），系统对每张图片独立提取8次，然后只保留至少有多数结果支持的物体和关系——这叫做"自一致性投票"。实验证明，单次提取的准确率只有54%，而经过8次投票后，准确率跃升至94%，效果的提升幅度相当惊人。

从500张图片出发，系统自动生成了877个难度1的原子任务，这些任务进一步组合成3363个难度2的复合任务和9228个难度3的三阶段任务，总计超过13000个训练样本——全程无需人工干预。

对比来看，BridgeData V2是这个领域广泛使用的标准数据集，包含约2.5万条人工采集和标注的机器人操作轨迹，每条都需要真实的机器人演示和人工记录。RoboEvolve仅用500张无标注图片起步，就能超越这个数据集训练出来的模型表现——这意味着数据量减少了50倍，同时省去了全部的人工标注成本。

五、实验结果证明了什么

研究团队在多个公认的测试基准上对RoboEvolve进行了评估。

对于模拟器的评估，使用的是BridgeData V2测试集，并把任务分为三个难度等级：难度1是单一原子动作（比如单纯地移动一件物品），难度2是两步复合任务（比如拿起物品再放置），难度3是三步任务（比如拿起番茄、放入锅中、再移动布巾）。评估指标包括视频质量得分（衡量视频画面是否流畅自然）、任务成功率（由Gemini-2.5-Pro大模型自动评判操作是否达成目标）和用户偏好率（由真人评估者选出最好的结果）。

与基础版Wan2.2-TI2V模型相比，加入RoboEvolve训练后，难度1任务的成功率相对提升了40%，难度2任务提升了49.6%，难度3任务提升了55.9%。这个规律非常有趣——任务越难，提升幅度越大。这说明RoboEvolve的双阶段训练对复杂、长程任务的帮助尤为显著，原因在于复杂任务对物理一致性的要求更高，而夜晚学习对物理幻觉的纠正作用正好在此处发挥了最大价值。

对于规划师的评估，使用了EB-ALFRED和EB-Habitat两个具身规划基准测试，这两个测试考察规划师在虚拟家居环境中执行多步骤任务的能力，覆盖基础操作、常识推理、复杂指令理解、视觉辨别、空间推理和长程规划六个维度。与基础版Qwen3-VL模型相比，RoboEvolve在EB-ALFRED上平均提升了36.4个百分点，在EB-Habitat上平均提升了24.6个百分点。

研究团队还进行了与专门为这两个测试训练的领域内专家模型的对比。RoboEvolve在EB-ALFRED上达到61.7分，与专门训练的RoboAgent（67.0分）和WAP（62.7分）处于同一竞争层次，考虑到RoboEvolve是一个通用的、无需领域专属数据的框架，这个结果已经相当有说服力。

在消融实验（即逐一去掉某个组件，看性能如何变化）中，研究团队验证了每个设计的必要性。去掉语义对齐检查，成功率下降最为剧烈，证明了这个门控机制是整个奖励体系的关键；去掉夜晚巩固阶段，系统很快陷入"只会白天疯狂探索、积累的错误无法被纠正"的困境，成功率显著下滑；将白天和夜晚训练改为串行（先完成所有白天训练，再统一做夜晚巩固），效果比交替进行要差得多，证明了及时纠错比事后总结更有效。

课程进度的超参数实验同样揭示了一个反直觉的发现：把学习节奏设定得过于保守，一直停留在最简单的任务上反复训练，反而导致即便是简单任务的表现也不如循序渐进的版本。这说明一定程度的挑战和进阶对于能力的稳固至关重要——过度重复简单练习会让模型陷入局部最优，浪费计算资源却收效甚微。

六、还差最后一步：从虚拟到现实

研究团队坦诚地指出了当前框架的主要局限。RoboEvolve目前完全运行在"视频生成"的虚拟世界中——规划师生成文字计划，模拟器生成操作视频，所有的学习都发生在这个虚拟的视觉空间里，从未真正驱动过任何物理机械臂。

把这套系统的输出对接到真实机器人的底层控制，还需要额外的技术桥接。研究团队认为，一个有前景的方向是与"世界动作模型"技术相结合，这类技术可以把高层语义轨迹翻译成连续的低级控制信号，比如电机的角速度和力矩。

此外，当前系统对规划师进行评估时，依赖的是规划师本身的零样本判断能力——换句话说，规划师既是学员又是评委，这种自我评估存在一定的内在偏差。未来可以训练一个专门的、独立的奖励评估模型来承担这个角色，使整个反馈系统更加客观可靠。

另一个可以改进的方向是场景解析的精度。尽管自一致性投票已经将准确率提升到94%，引入专门的视觉定位模型（类似于Grounding DINO这类专注于物体检测和空间定位的工具）可以提供更精确的空间先验，为整个学习循环提供更坚实的起点。

说到底，RoboEvolve的意义不仅在于一套具体的算法，更在于它提出了一种思路：机器人不一定需要海量人工示范数据，两个互补的AI模块可以在相互监督的过程中自我成长，失败的经历和成功的经历同样宝贵，只需要少量未标注的图片作为出发点。

这对机器人技术的普及有着实际意义。当前工业级机器人的训练成本极高，动辄需要数万条人工采集的专属演示数据，这使得机器人能力的迁移（从一个场景迁移到另一个场景）代价高昂。如果RoboEvolve这样的框架能够成熟落地，未来在一个新场景中部署机器人，可能只需要拍几百张照片，其余的学习过程就可以交给系统自己完成。

对于普通人来说，这意味着更灵活、更低成本的机器人服务将更有可能进入生活——无论是家务协助、餐厅服务，还是仓库分拣，背后的AI训练门槛或许会因此大幅降低。这条路还没有走完，但RoboEvolve迈出的这一步，方向是清晰的。有兴趣深入了解技术细节的读者，可以通过arXiv编号2605.13775查阅完整论文。

Q&A

Q1：RoboEvolve用500张图片训练机器人，这500张图片需要满足什么条件？

A：不需要满足特殊条件，普通的未标注场景照片即可。研究中使用的是来自真实厨房和工作台的图片，不需要标注物体名称、空间关系或操作意图。系统会自动通过"自一致性投票"机制从这些原始图片中提取结构化场景信息，提取准确率可以达到94%。

Q2：RoboEvolve和传统机器人训练方法相比，具体减少了多少人工成本？

A：与BridgeData V2数据集（约2.5万条人工采集和标注的机器人操作轨迹）相比，RoboEvolve仅需500张无标注图片即可超越其训练效果，数据量减少约50倍，且完全省去了人工示范录制和标注的过程。整个数据生成和训练流程无需人工干预，系统自动从图片扩展到超过13000个训练任务。

Q3：RoboEvolve训练出的模型能直接控制真实机械臂吗？

A：目前不能直接控制。RoboEvolve目前完全运行在视频生成的虚拟环境中，输出的是操作视频而非机械臂控制信号。要驱动真实机械臂，还需要额外的技术桥接层，将高层语义轨迹转换为底层电机控制指令。研究团队已将对接"世界动作模型"列为未来工作方向。