当机器人的"眼睛"突然失明——英国伯恩茅斯大学研究出让机器人在摄像头故障时依然能完成任务的全新方法

这项由英国伯恩茅斯大学领导的研究发表于2026年6月，论文编号为arXiv:2606.15514v1，有兴趣深入了解的读者可以通过该编号查询完整论文。

机器人正在走进我们的生活。从工厂流水线上精准抓取零件的机械臂，到医院里协助手术的辅助机器人，再到家庭服务场景中帮忙摆放餐具的智能助手——这些机器人几乎无一例外地依赖摄像头来"看"清楚世界。然而，摄像头是脆弱的。它可能被物体遮挡，可能因硬件故障而黑屏，也可能在嘈杂的工业环境中出现信号衰减。当机器人的某只"眼睛"突然失明，它还能继续完成任务吗？

现有的大多数机器人学习系统都有一个心照不宣的假设：所有传感器在任务执行过程中始终正常运作。一旦摄像头掉线，这些系统的表现往往会断崖式下跌，甚至完全瘫痪。面对这个现实世界中真实存在却长期被忽视的痛点，伯恩茅斯大学的研究团队提出了一个名为RL4IL的全新方法，让机器人即便在摄像头完全失效的情况下，仍然能以相当高的成功率完成操作任务——而且完全不需要重新训练系统。这是机器人学习领域首次将强化学习应用于从示范库中检索最佳示范样本这一问题，为解决传感器掉线难题提供了一条全新思路。

一、机器人是怎么学会做事的？先从"照着葫芦画瓢"说起

要理解这项研究解决的是什么问题，得先搞清楚机器人通常是怎么学会操作任务的。研究团队采用的核心范式叫做"模仿学习"，这是目前最主流的机器人技能习得方式之一。

模仿学习的逻辑非常直观，就像小孩子学包饺子一样——先看大人做几遍，然后自己照着做。在机器人领域，研究人员会通过遥控操作让机器人记录下一批"专家示范"：每一次示范都包含机器人在操作过程中看到的画面（来自多个摄像头的视频帧）、接收到的自然语言指令（比如"把红色杯子放到盘子左边"），以及对应的动作序列（关节角度、移动轨迹等）。这些示范被存储成一个"示范库"，类似于一本厚厚的操作手册，每一页都记录着"在这种情况下，应该做这些动作"。

当机器人遇到新任务时，它会查阅这本手册，找到最相似的历史记录，然后照着那条记录里的动作序列执行。这套逻辑在理论上简洁优雅，但现实中有个致命弱点：找到"最相似记录"的前提，是机器人能够完整地感知当前环境。如果摄像头坏了，机器人就好像在黑暗中翻阅手册，根本无从判断眼前的情况和哪一页记录最接近。

伯恩茅斯大学的研究团队正是针对这个痛点，构建了一套完整的补救机制。他们的核心思路是：就算摄像头坏了，我们也能从其他还在正常工作的传感器（比如另一个摄像头、语言指令）中推断出缺失的视觉信息，然后再去示范库里检索最相关的记录。整个过程不需要重新训练任何模型，完全是在推断阶段实时完成的。

二、"冻结的知识"与"活跃的检索者"——系统架构的整体设计

RL4IL系统的整体设计遵循一个清晰的分工原则：负责感知世界的编码器（把原始图像和文字转换成数字向量的神经网络）在训练结束后就被彻底"冻结"，不再调整任何参数。所有的学习能力都集中在负责检索和决策的模块上。

具体来说，系统使用了一个叫做CLIP ViT-B/32的预训练模型作为编码器。这个模型原本是OpenAI用海量图文数据训练出来的，能够把一张图片或一段文字转化成一个512维的数字向量——可以把这个向量理解成一个由512个数字组成的"坐标"，在一个巨大的抽象空间里定位这张图片或这段文字的含义。机器人的三种输入——来自主摄像头的图像、来自手持摄像头的图像、以及自然语言指令——各自被编码成一个512维向量，然后按照特定规则拼接在一起，形成一个完整的"观测指纹"。

每一条示范记录在被存入示范库之前，都会经历同样的编码过程，生成自己的"观测指纹"。于是，"找最相似记录"这个问题，就转化成了"在高维空间里找最近邻点"的数学问题。

不过，在这里研究团队遇到了一个微妙的陷阱：三种模态的向量维度相同（都是512维），但它们各自内部数值的分布、量级可能差异悬殊。如果直接把三个向量拼在一起计算距离，数值量级较大的那个模态会无形中主导整个距离计算，就好像在评分时某科满分1000分而其他科满分100分——高分科目的差异会完全淹没低分科目的差异。为了解决这个问题，研究团队为每种模态单独做了标准化处理，确保三种感知通道在距离计算中的贡献权重完全对等。这种"公平距离"设计看似是个细节，但从后面的消融实验来看，它对最终性能有显著影响。

三、从"最近邻投票"到"强化学习裁判"——检索策略的升级

找到最近邻记录之后，最简单的做法是直接使用那条记录里的动作序列。稍微复杂一点的做法是取最近的若干条记录，根据距离远近加权平均。这两种做法都有问题：前者孤注一掷，后者把好的和差的记录搅和在一起，稀释了真正有用的信号。

研究团队引入了强化学习（Reinforcement Learning，简称RL）来扮演"裁判"的角色，从候选记录中智能地选出最合适的那一条。强化学习是一种让智能体通过不断试错、获取奖励信号来学会做决策的方法——就像训练小狗做动作：做对了给零食，做错了没零食，久而久之小狗就学会了什么情况下应该做什么动作。

在RL4IL里，这个"裁判"需要从一个候选池中挑选出最优示范。候选池的构建方式很有意思：系统首先用标准的K近邻算法找到距离查询点最近的若干条记录作为"种子"，然后从这些种子出发，在示范库构成的图结构上做广度优先搜索（BFS），扩展出一个更大的候选集合。这个图可以理解成一张"示范地图"，每条记录是地图上的一个城市，两个城市之间的道路距离对应它们的观测指纹相似度。从种子城市出发，沿路最多走D步（实验中D=6），所有能到达的城市都进入候选池。

这样做的好处是，候选池不再局限于字面意义上最近的几条记录，而是延伸到了整个局部邻域，包含了更多样化的标签和情境，给裁判更大的选择空间。

"裁判"本身是一个注意力机制打分头（Attention Scoring Head）。它接收两类输入：一是当前查询点的特征（包括其观测向量、候选集内标签的方差、候选集大小等），二是每个候选记录的特征（包括其观测向量、在图上与查询点的距离、跳数、距离排名、以及标签与集合均值的偏差）。把这两类特征拼接、点乘、再经过一个小型神经网络，就能得到每个候选记录的得分。所有候选记录的得分经过Softmax归一化，就形成了一个概率分布，裁判从中采样或取最高分者作为最终选择。

训练这个裁判时，研究团队为每个训练样本定义了一个"神谕"——即候选池中与真实标签一致且图距离最短的那条记录。如果裁判选中了神谕，奖励为0；如果选了错误标签的记录，奖励为-1。裁判通过近端策略优化（PPO）这种强化学习算法不断调整自己的打分逻辑，目标是尽可能多地选中神谕。为了防止裁判记住候选集里位置规律，每次训练时候选集的顺序都会被随机打乱。

四、"软融合"——不押宝单一示范，而是综合多条记录的集体智慧

即便有了智能裁判，完全押宝在单一最优示范上仍然存在风险。毕竟，在传感器故障等嘈杂条件下，就连最好的候选记录也可能存在偏差。研究团队为此引入了一个"软融合头"（Soft Fusion Head），作为裁判之后的第二道处理。

软融合的思路是：取裁判评分最高的若干条记录（实验中默认取前32条），用交叉注意力机制（Cross-Attention）为它们分配权重，然后将各记录的动作信号按权重加权合并，得到最终的预测动作。

交叉注意力机制可以理解成一种"民主投票加权"机制：每条候选记录根据自己与当前查询的相关程度获得不同的发言权，越相关的记录权重越高，越不相关的记录贡献越小。具体实现上，系统用独立的线性变换把查询向量和各候选向量都投影到一个128维的共享空间，然后用H=4个注意力头并行计算每个候选的权重，最后将各候选的动作标签按权重加权求和，得到一个"软化"的预测。这个软预测再经过一个两层MLP（多层感知机，可以理解成一个小型神经网络）进一步精炼，输出最终预测动作。

从实验结果来看，软融合在几乎所有测试场景下都优于或持平于只选单一最优示范的硬选择策略，尤其在传感器故障这种嘈杂条件下，多条候选记录的集体智慧能有效抵消单条记录可能存在的偏差。

五、摄像头坏了怎么办？——"缺失模态修复"的两步走方案

现在来到整个系统最核心、也最有实用价值的部分：当某个摄像头真的在任务执行中途失效，系统该怎么办？

研究团队设计了一套两阶段修复流程。当检测到某个模态缺失时，系统首先用一个专门为该模态训练的"供体检索策略"，从示范库中找出几条"供体记录"——这些记录的缺失模态数据是完整的，可以作为"器官捐献者"。然后，一个"软修复头"（Soft Imputation Head）用交叉注意力机制综合这几条供体记录的缺失模态向量，生成一个重建的替代向量，填补回完整观测中去。整个修复过程结束后，系统继续按照正常流程检索示范、执行动作，其他组件完全不需要改动。

供体检索策略同样是用强化学习训练的，但目标函数不同：在这里，"神谕"定义为供体库中缺失模态向量与真实缺失模态向量的L2距离最小的那条记录——也就是向量空间里最接近真实缺失值的那条记录。奖励信号是基于排名的连续值：(神谕排名 - 实际选择排名) / (候选数 - 1)，范围在-1到+1之间，奖励更细腻，引导策略把最好的供体推到排名最前面。

软修复头的结构与软融合头高度类似：取排名最高的32条供体记录，在一个64维的共享空间里用2个注意力头计算权重，加权合成一个软化的替代向量，再经过两层MLP精炼，最终输出一个512维的重建向量，维度与原始模态向量完全一致，可以无缝替换掉缺失的那一块。

这个修复头用监督学习方式训练：把训练集里的某个模态人为遮盖掉，让系统尝试重建，用重建向量与真实向量之间的均方误差作为损失函数。供体检索策略在修复头训练期间保持冻结，避免两者相互干扰。

值得特别强调的是，整个修复流程在推断阶段完全不需要访问真实的缺失向量（那本来就不存在）——训练阶段用真实向量定义神谕和计算损失，推断阶段则完全依赖现有可用模态的信号推断缺失内容。这正是系统能够真正做到"零样本处理传感器故障"的关键所在。

六、实验结果——数字说话，差距有多大？

研究团队在LIBERO基准测试套件的三个子集上进行了系统性评估：LIBERO-Spatial（测试空间位置推理，比如"把杯子放到书的左边"）、LIBERO-Object（测试物体中心操作）、LIBERO-Goal（测试目标导向的长序列任务）。三个套件共享同样的观测空间：一个主视角摄像头、一个手持摄像头、以及自然语言指令，每个任务提供50条专家示范，通过遥控操作录制。

评估条件是最严苛的完全摄像头故障场景：要么主摄像头完全失效，要么手持摄像头完全失效。性能指标是任务成功率——在260步时间限制内完成任务的比例，跨3个随机种子取平均，每个任务每个种子执行25次。

对照基线包括：标准行为克隆（BC）、解耦行为克隆（DisBC）、基于扩散策略的BESO-ACT、加入了模态随机丢弃训练的BESO-ACT-Dropout，以及最新的解耦扩散策略（DisDP）。

结果触目惊心。标准行为克隆（BC）在所有摄像头故障场景下的成功率全部为零，完全无法应对传感器失效。DisBC略好一点，在LIBERO-Object的主摄像头故障场景下能达到11%，但其余场景几乎也是全军覆没。BESO-ACT稍强，在LIBERO-Goal的主摄像头故障场景下能达到8.4%，LIBERO-Object下能达到20.4%，但在手持摄像头故障场景下急剧下降到1.2%。即便是专门为鲁棒性设计的BESO-ACT-Dropout，在加入了模态随机丢弃的训练策略后，也只能在LIBERO-Spatial的手持摄像头故障场景下勉强达到2.3%，其余场景都接近于零。最强基线DisDP在LIBERO-Goal和LIBERO-Object上能达到20%-29.5%，在LIBERO-Spatial上能达到11.2%-14.4%，已经是现有方法里的最优水平。

RL4IL在这份成绩单上的表现则是另一个维度：LIBERO-Goal的两个故障场景分别达到70.0%和70.5%，LIBERO-Object分别达到73.3%和67.7%，LIBERO-Spatial分别达到54.0%和44.1%。与最强基线DisDP相比，RL4IL在LIBERO-Object主摄像头故障场景下的成功率是它的2.5倍，在LIBERO-Goal手持摄像头故障场景下是它的3.5倍多。更重要的是，RL4IL完全不需要重新训练任何策略网络，而DisDP仍然需要完整的策略训练流程。

七、细节决定成败——三项消融实验揭示各组件的贡献

除了整体性能对比，研究团队还做了三组消融实验，逐一验证各个设计选择的必要性。

关于软融合与硬选择的对比：在六个测试场景（三个基准套件，各两种故障条件）中，软融合的成功率在几乎所有场景下都不低于硬选择，在LIBERO-Spatial两种故障条件下的优势最为明显。这说明在传感器故障这种充满不确定性的环境下，综合多条候选记录的集体智慧确实比押宝单一最优记录更稳健。

关于模态公平归一化的效果：不做归一化的版本在某些单独条件下偶尔能取得更高分数，但研究团队指出这是偶然现象而非真实改进——在特定数据集上，恰好某个模态的原始向量量级较大，而那个模态的信息对该任务又恰好足够充分，于是非归一化版本歪打正着地表现出色。然而，这种"单一模态主导"的现象是数据集依赖的，换一个场景就可能完全失效。归一化通过确保所有模态平等贡献，让系统在各种条件下的表现更加一致和可预测——这对于需要部署在真实环境中的系统来说，一致性比偶尔的高峰更有价值。

关于训练轮数的影响：研究团队测试了1、5、10、15、20轮训练对结果的影响。LIBERO-Spatial和LIBERO-Object的性能随训练轮数变化较为平稳，说明系统对这两个任务套件的学习收敛较快。LIBERO-Goal则呈现出随训练轮数增加而持续提升的趋势，说明目标导向的长序列任务更复杂，需要更多训练才能充分挖掘策略的潜力。一个令人欣喜的发现是，即便只训练1轮，RL4IL的成功率已经超过了表格中所有基线方法的最佳成绩——这意味着即便计算资源极度有限，这套方法也能带来显著收益。

关于融合候选数量K的敏感性：在4、8、12、16、32这五个候选数值范围内，系统性能总体上相当稳定，没有出现对某个特定K值极度敏感的情况。这说明RL4IL在超参数选择上具有较强的鲁棒性，研究人员无需花费大量精力精调这个参数，在合理范围内随便选一个就能获得稳健表现。

说到底，这项研究讲了一个很实在的故事：机器人不应该因为一个摄像头坏掉就彻底瘫痪。伯恩茅斯大学的研究团队通过把强化学习、图搜索、跨注意力融合和模态修复这几个模块拼在一起，构建了一套在现实条件下真正可用的容错方案。归根结底，他们的贡献不仅仅是在数字上打败了基线方法，更重要的是证明了一条新的技术路线：不依赖大规模策略网络重训练，仅靠更智能的示范检索和实时缺失修复，就能大幅提升机器人系统面对传感器故障时的生存能力。

这对普通人意味着什么？随着机器人逐渐进入物流仓库、餐厅厨房、家庭起居室，传感器故障会从偶发事件变成日常挑战。一个能在摄像头坏掉时依然继续工作的机器人，比一个必须停机等待维修的机器人，显然更有实用价值。当然，目前的测试还局限于模拟环境和相对受控的任务设置，迈向真实工业或家庭场景还有不少工程上的路要走。研究团队也在论文末尾提出了未来的方向：如何把这套方法扩展到在线学习场景、如何在检索时引入更丰富的时间序列上下文、如何把示范库扩展到更大规模和更多样化的任务分布。这些问题每一个都值得深入探索，而RL4IL为它们提供了一个扎实的出发点。有兴趣进一步了解技术细节的读者，可以通过arXiv编号2606.15514查阅完整论文。

Q&A

Q1：RL4IL在摄像头故障时为什么不需要重新训练模型？

A：RL4IL的设计把"感知编码器"和"检索决策模块"完全分开。编码器在训练完成后就被冻结，永远不动。当摄像头故障时，系统激活一套预先训练好的修复流程：用另一个强化学习策略从示范库里找到有完整摄像头数据的"供体记录"，然后用跨注意力机制合成一个替代向量，填补缺失的部分。整个过程是推断阶段实时完成的，不涉及任何参数更新。

Q2：LIBERO基准测试具体是在测什么？

A：LIBERO是一套机器人操作的标准评估套件，分三个子集。LIBERO-Spatial测试机器人根据空间位置关系摆放物体的能力，比如"把红杯子放到书的左侧"。LIBERO-Object测试在不同物体配置下的抓取操作。LIBERO-Goal测试需要多步骤推理才能完成的目标导向任务。三套测试共享相同的摄像头和语言指令输入，评估指标是在260步时间限制内完成任务的比例。

Q3：软融合和直接选最优示范有什么区别？

A：直接选最优示范（硬选择）是让强化学习裁判挑出评分最高的一条记录，然后原封不动地执行那条记录里的动作。软融合则是取评分最高的前32条记录，用跨注意力机制根据每条记录与当前查询的相关程度分配权重，将所有记录的动作信号按权重加权合并。在传感器故障这种嘈杂环境下，单条记录可能存在偏差，多条记录的集体加权能有效抵消这种偏差，整体表现更稳健。