复旦大学团队重磅突破：机器人终于学会了"问问题"，从被动执行者进化为主动合作伙伴

这项由复旦大学计算机科学与人工智能学院林心瑶、朱星昊等研究团队主导的创新研究发表于2025年9月的arXiv预印本平台（论文编号：arXiv:2509.15061v2），有兴趣深入了解的读者可以通过该编号在arXiv官网上访问完整论文。研究团队还包括来自上海创新研究院和加州大学伯克利分校的研究人员。

在我们日常生活中，当你对朋友说"把那个水果拿给我"时，如果桌上有好几种水果，你的朋友肯定会问"你要哪个？苹果还是橙子？"这种自然的澄清对话对人类来说再简单不过，但对机器人而言却是一个巨大的技术挑战。长期以来，机器人就像是只会按指令行事的执行者，面对模糊指令时要么随机选择，要么干脆罢工。而复旦大学这个研究团队的最新成果，让机器人首次具备了"问问题"的能力，真正从被动的指令执行者进化为能够主动沟通的合作伙伴。

这项突破性研究的核心在于开发了一个名为"Ask-to-Clarify"（询问澄清）的框架。这个框架就像给机器人装上了一个"智能大脑"，让它能够识别指令中的歧义，主动提出澄清问题，然后根据人类的回答准确执行任务。更令人惊喜的是，这个系统不仅能问问题，还能在澄清后直接生成精确的低级动作指令，实现端到端的任务执行。

研究团队在8个真实世界任务中测试了这个框架，结果令人振奋。相比于现有的最先进机器人系统，Ask-to-Clarify框架在所有任务上都表现出了显著的优越性。这意味着我们距离拥有真正智能的家庭助理机器人又近了一大步，这些机器人不仅能理解我们的指令，还能在不确定时主动与我们沟通，就像一个贴心的生活伙伴。

一、问题的核心：机器人为什么总是"听不懂话"

想象一下这样的场景：你回到家，疲惫地对家庭机器人说"给我倒杯水"，结果机器人呆呆地站在那里不动，或者胡乱地拿起桌上任何一个杯子。这种尴尬的情况在当前的机器人系统中经常发生，根本原因在于人类的语言天生就充满了歧义性。

我们人类在日常交流中，经常使用模糊、简略或指代不明的表达。比如"把那个东西拿过来"、"打开灯"（哪盏灯？）、"整理一下桌子"（整理到什么程度？）。对于人类来说，这些表达在特定情境下都是可以理解的，因为我们会通过眼神交流、手势指向或直接询问来消除歧义。但传统的机器人系统缺乏这种交互能力，它们只能按照预设程序执行明确的指令。

这个问题的严重性不仅仅在于执行错误，更在于它限制了机器人在真实世界中的应用。在实际的家庭或工作环境中，几乎所有的人机交互都包含某种程度的歧义。如果机器人无法处理这些歧义，它们就永远无法成为真正有用的助手。

研究团队深入分析了现有机器人系统的局限性。他们发现，目前最先进的视觉-语言-动作模型（VLA）虽然在技术上已经相当成熟，但都采用单向的指令执行模式。这些系统接收指令后会立即尝试执行，没有任何澄清或确认的环节。就像一个只会点头说"是"的员工，不管指令多么模糊都会硬着头皮去做。

更深层的问题在于，这些系统无法区分指令的明确性程度。对于"把红色的苹果放到蓝色盘子里"这样明确的指令，它们能够很好地执行。但对于"把水果放到盘子里"这样的模糊指令，它们就会陷入困境。在有多个水果和多个盘子的情况下，系统要么随机选择，要么因为无法决策而失败。

这种单向执行模式的根本缺陷在于缺乏反馈机制。真正的合作需要双向沟通，需要在不确定时寻求澄清，需要根据反馈调整行为。而现有的机器人系统在这些方面都存在严重不足。

二、突破性的解决方案：让机器人学会"问话"的艺术

面对这个挑战，复旦大学研究团队提出了一个巧妙的解决方案，就像教会机器人"问话"的艺术。他们开发的Ask-to-Clarify框架可以形象地比作给机器人装上了一套"智能沟通系统"，让它能够识别指令中的模糊之处，主动提出问题，并根据人类的回答做出准确的行动。

这个框架的工作原理类似于一个经验丰富的服务员。当顾客说"给我来一份主菜"时，好的服务员不会随便上一道菜，而是会问"您想要牛排、鸡肉还是鱼？"同样，当机器人接收到模糊指令时，Ask-to-Clarify系统会分析指令的歧义性，然后提出针对性的澄清问题。

整个系统由两个核心组件构成，就像人脑的两个不同区域分工合作。第一个组件是"合作部分"，基于先进的视觉-语言模型构建，专门负责理解场景、识别歧义并生成澄清问题。这部分就像机器人的"语言中心"，能够理解人类的表达并进行自然的对话。第二个组件是"行动部分"，采用扩散模型技术，专门负责生成精确的低级动作指令。这部分就像机器人的"运动皮层"，将抽象的任务转化为具体的机械动作。

为了让这两个组件协调工作，研究团队还设计了一个巧妙的"连接模块"。这个模块的作用类似于翻译官，它能够将语言理解的结果转化为动作生成所需的条件信号。更重要的是，这个模块能够根据澄清后的指令调整视觉观察，为动作生成提供更可靠、更精确的条件。

系统的工作流程非常自然流畅。当接收到指令"把水果放到盘子上"时，合作组件首先分析当前场景，发现桌上有苹果、橙子和桃子三种水果。系统立即识别出这个指令存在歧义，于是生成澄清问题："您要的是苹果吗？"如果用户回答"不是"，系统会继续问："是橙子吗？"直到获得明确答案。一旦歧义消除，系统就会生成清晰的指令"把橙子放到盘子上"，然后由行动组件接管，生成精确的机械臂动作序列来完成任务。

这种设计的巧妙之处在于它模拟了人类处理歧义的自然方式。我们在面对不确定情况时也是这样处理的：先尝试理解，发现歧义后主动询问，获得澄清后再行动。这种方式不仅提高了任务执行的准确性，也让人机交互变得更加自然和友好。

三、创新的训练策略：两阶段"知识隔离"方法

训练这样一个复杂的系统面临着独特的挑战，就像要教一个人既要擅长交谈又要精通手工艺。如果同时训练这两种能力，很可能会相互干扰，导致哪个都学不好。为了解决这个问题，研究团队开发了一种创新的"两阶段知识隔离"训练策略，这种方法可以比作分科目学习然后融会贯通的教育方式。

第一阶段专门训练"沟通技能"。研究团队首先为合作组件准备了大量的歧义解决对话数据。这些数据就像是专门设计的沟通课程，包含了各种模糊指令、相应的澄清问题和正确的回答。系统在这个阶段学会了如何识别指令中的歧义，如何提出合适的问题，以及如何根据用户回答推导出正确的指令。

在这个阶段，研究团队还引入了特殊的信号标记系统，就像给机器人装上了"情绪表达"功能。当系统识别出模糊指令时，它会生成带有特殊标记的回应，比如用特殊符号标记"这个指令不清楚，需要澄清"。当通过对话澄清了指令后，系统会生成另一个标记表示"现在指令清楚了，可以执行了"。这种标记系统为后续的无缝切换奠定了基础。

训练过程中，研究团队采用了"知识隔离"的策略。他们冻结了视觉编码器的参数，只微调语言模型部分。这样做的好处是既能保持系统原有的视觉理解能力，又能专门强化对话交互能力，避免新旧知识之间的冲突。

第二阶段专注于"动作技能"的集成。在这个阶段，研究团队保持合作组件完全冻结，专门训练行动组件。这就像是在保持沟通能力不变的前提下，专门练习手工技能。通过这种方式，系统既保持了第一阶段学到的对话能力，又获得了精确的动作执行能力。

为了实现两个组件之间的顺畅协作，连接模块在这个阶段发挥了关键作用。它学会了如何将澄清后的指令转化为更好的动作条件。这个过程类似于大脑中语言区域和运动区域之间的协调。连接模块不仅传递信息，还会根据指令内容调整视觉观察的重点，确保动作生成能够获得最相关的视觉信息。

这种两阶段训练策略的优势是显而易见的。它避免了同时训练多个复杂能力时可能出现的相互干扰，确保每个组件都能达到最佳性能。同时，通过知识隔离，系统能够在获得新能力的同时保持原有能力不受损失。

更重要的是，这种训练方式是可扩展的。随着技术的发展，可以在不影响现有能力的情况下继续添加新的功能模块。这为未来开发更复杂的机器人系统提供了可行的技术路径。

四、智能的信号检测系统：让机器人学会"察言观色"

训练完成后，如何让机器人在实际使用中自动决定什么时候问问题、什么时候直接行动，这是一个关键的技术挑战。研究团队为此开发了一个巧妙的"信号检测系统"，这个系统就像是机器人的"直觉判断中心"，能够在不同的工作模式之间无缝切换。

这个检测系统的工作原理可以比作一个经验丰富的接待员。当有人走进办公室说"我要找王经理"时，如果公司里只有一个王经理，接待员会直接带路；但如果有多个王经理，接待员就会问"您要找的是会计部的王经理还是市场部的王经理？"这种判断能力正是信号检测系统的核心功能。

在Ask-to-Clarify框架中，研究团队设计了四种关键的信号标记，每种都对应特定的情况和应对策略。当系统接收到指令后，合作组件会在输出的最后生成一个信号标记，检测系统根据这个标记决定下一步的行动。

第一种信号表示"指令模糊，需要澄清"。当检测到这个信号时，系统会进入对话模式，开始提出澄清问题。这就像是机器人在说"我不太确定您的意思，能否详细说明一下？"系统会耐心地与用户进行多轮对话，直到完全理解用户的真实意图。

第二种信号表示"指令已经明确，可以执行"。当通过对话澄清了用户意图后，系统会生成这个信号，表示现在可以开始执行任务了。这时检测系统会提取澄清后的准确指令，并将控制权转移给行动组件。

第三种信号表示"可以执行"，第四种信号表示"拒绝执行"。这两个信号是系统在获得明确指令后的最终判断。系统会检查目标物体是否在当前视野中，如果在就执行，如果不在就礼貌地拒绝。这就像是一个负责任的助手，在无法完成任务时会如实告知，而不是勉强行事。

检测系统的智能之处在于它能够维护完整的对话历史。每一轮的问题和回答都会被记录下来，作为下一轮判断的依据。这确保了对话的连贯性和逻辑性，避免了重复询问或前后矛盾的问题。

更令人印象深刻的是，这个系统完全不需要额外的训练。它是基于训练阶段学到的信号标记工作的，在推理时自动激活。这种设计大大简化了系统的部署和维护，也提高了实际应用的可靠性。

在实际工作中，信号检测系统的响应速度非常快，几乎不会造成任何延迟。用户感受到的是一个反应敏捷、判断准确的智能助手，而不是一个需要等待处理的机械系统。

五、真实世界的惊艳表现：8项任务全面胜出

为了验证Ask-to-Clarify框架的实际效果，研究团队设计了一系列贴近真实生活的测试任务。这些测试就像是给机器人进行的"实习考核"，涵盖了家庭环境中最常见的操作需求。测试使用的是xArm 7机械臂，配备了RealSense摄像头，完全模拟真实的家庭机器人使用场景。

测试任务分为三大类，每类都针对不同的生活场景。第一类是"放置任务"，比如"把水果放到盘子上"，其中水果可能是苹果、桃子或橙子。第二类是"倾倒任务"，比如"把水从杯子里倒到盘子上"，其中杯子可能是红色、绿色或白色的。第三类是"堆叠任务"，比如"把积木摞起来"，涉及不同颜色积木的组合。

测试结果令人振奋。Ask-to-Clarify框架在所有8个任务上都显著超越了现有的最先进系统。在放置任务中，系统达到了95%的成功率，在倾倒任务中达到了98.3%，在堆叠任务中也达到了90%。相比之下，传统的机器人系统要么完全无法完成任务，要么成功率极低。

更让人惊讶的是测试条件的设置。研究团队特意为Ask-to-Clarify系统使用了模糊指令，需要它通过对话澄清才能执行。而对照的基准系统则直接获得了明确的指令。即使在这种"不公平"的比较条件下，Ask-to-Clarify框架仍然表现出色，这充分证明了其澄清对话功能的有效性。

研究团队还深入分析了一些基准系统失败的原因。他们发现，一些采用层次化架构的系统虽然也使用了扩散模型作为动作专家，但由于缺乏有效的连接机制，导致不同指令产生的条件信号过于相似。通过计算相似度矩阵，他们发现这些系统面对"放苹果"、"放桃子"、"放橙子"等不同指令时，生成的条件几乎完全相同，自然无法正确执行任务。

而Ask-to-Clarify框架通过连接模块的调节，能够为不同的指令生成显著不同的条件信号。这就像是给每个任务配备了专门的"操作指南"，确保机械臂能够准确理解并执行每个具体任务。

测试还包括了对系统协作能力的专门评估。研究团队设计了"存在"和"缺失"两种场景。在"存在"场景中，目标物体在桌面上，系统需要通过对话确认并执行任务。在"缺失"场景中，目标物体不在视野内，系统需要礼貌地拒绝执行。结果显示，Ask-to-Clarify框架在两种场景下都表现优异，证明了其智能判断和适当拒绝的能力。

六、系统韧性测试：在困难条件下依然表现出色

真实世界的环境往往比实验室条件更加复杂和苛刻。为了验证Ask-to-Clarify框架的实用性，研究团队进行了一系列"压力测试"，模拟各种可能影响系统性能的不利条件。

第一项测试模拟了光线不足的环境。研究团队关闭了一半的照明设备，创造出类似傍晚或阴天室内的光线条件。在这种情况下，传统的机器人系统性能急剧下降，成功率从57.5%暴跌到22.5%。而Ask-to-Clarify框架的表现要稳定得多，成功率仅从90%下降到80%，展现出了优异的适应性。

这种差异的原因很有意思。传统系统为了适应特定任务，需要对整个模型进行微调，这使得它们过度拟合了训练时的光线条件。一旦环境发生变化，性能就会大幅下降。而Ask-to-Clarify框架采用知识隔离策略，保持视觉编码器冻结，因此保留了在各种环境条件下的通用视觉理解能力。

第二项测试引入了视觉干扰物。研究团队在测试环境中放置了石榴等与目标物体（如苹果）外观相似的干扰物。这种测试模拟了现实生活中常见的情况，比如厨房台面上同时摆放着多种相似的食材。结果显示，Ask-to-Clarify框架的成功率从95%下降到80%，而基准系统的成功率从95%下降到65%。

这个结果特别有意义，因为它表明Ask-to-Clarify框架不仅能够处理指令歧义，还能在一定程度上应对视觉歧义。当系统遇到外观相似的物体时，它的对话澄清机制能够帮助用户指定正确的目标，从而提高任务执行的准确性。

研究团队还测试了系统在不同复杂程度任务中的表现。他们发现，随着任务复杂度的增加，Ask-to-Clarify框架的优势变得更加明显。在简单任务中，传统系统可能还能勉强应付，但在涉及多个物体、多个属性的复杂任务中，只有具备澄清对话能力的系统才能可靠地完成任务。

这些韧性测试的结果证明了Ask-to-Clarify框架不仅在理想条件下表现优异，在面对真实世界的各种挑战时也能保持稳定的性能。这种鲁棒性对于实际部署的机器人系统来说至关重要。

七、深度解析：为什么这个方案如此有效

Ask-to-Clarify框架的成功不是偶然的，它的设计理念和技术实现都体现了深刻的洞察力。通过深入分析，我们可以理解这个系统为什么能够取得如此出色的效果。

首先，这个框架抓住了人机交互的本质特征。人类之间的有效沟通建立在双向反馈的基础上，当信息不明确时，我们会自然地寻求澄清。Ask-to-Clarify框架将这种自然的沟通模式引入了机器人系统，让人机交互变得更加自然和高效。

系统架构的模块化设计是另一个关键因素。通过将语言理解和动作生成分离，每个组件都能专注于自己最擅长的任务。这种分工合作的方式不仅提高了整体性能，也增强了系统的可维护性和可扩展性。

连接模块的设计尤其巧妙。它不是简单的信息传递通道，而是一个智能的信息处理器，能够根据澄清后的指令调整视觉观察的重点。这种基于指令的观察调节机制确保了动作生成能够获得最相关的信息，大大提高了执行精度。

两阶段知识隔离训练策略解决了多目标学习中的经典难题。通过时间上的分离，系统避免了不同能力之间的相互干扰，确保每个组件都能达到最佳状态。更重要的是，这种策略具有很强的可复现性，为其他研究提供了宝贵的方法论指导。

信号检测系统的无训练设计体现了工程上的智慧。通过在第一阶段训练中嵌入信号标记，系统在推理时能够自动进行模式切换，无需额外的判决模块。这种设计简化了系统架构，提高了运行效率。

从更宏观的角度看，Ask-to-Clarify框架代表了机器人技术发展的一个重要方向。它不再追求让机器人变得更加"智能"，而是让机器人变得更加"协作"。这种理念转变可能比单纯的技术进步更加重要。

系统的成功还得益于对真实应用场景的深入理解。研究团队没有停留在实验室演示的层面，而是认真考虑了部署在真实环境中可能遇到的各种挑战。从光线变化到视觉干扰，从简单任务到复杂操作，每个测试都贴近实际应用需求。

八、技术创新的深层价值和广阔前景

Ask-to-Clarify框架的意义远超出了技术本身的创新，它为整个机器人领域提供了新的思路和方向。这项研究的价值可以从多个层面来理解。

从技术发展的角度看，这个框架打破了传统机器人系统的单向执行模式，引入了双向交互的新范式。这种变革不仅提高了任务执行的准确性，更重要的是改变了人们对机器人能力边界的认知。原来机器人不仅可以执行指令，还可以主动参与指令的完善过程。

在实际应用方面，这项技术为家庭服务机器人的发展扫清了一个重要障碍。长期以来，模糊指令处理一直是家庭机器人实用化的主要技术瓶颈之一。Ask-to-Clarify框架的成功表明，这个问题是可以有效解决的，为家庭机器人的大规模普及奠定了基础。

从人机交互的角度看，这个系统让机器人变得更加"人性化"。它不再是冷冰冰的执行工具，而是能够主动沟通、寻求澄清的合作伙伴。这种改变有助于提高用户对机器人的接受度和信任度，促进机器人技术在日常生活中的普及。

技术的可扩展性也值得关注。研究团队提出的两阶段知识隔离训练策略不仅适用于当前的任务，也为未来添加更多功能提供了框架。随着技术的发展，可以在不影响现有能力的前提下，继续增强系统的其他方面，比如情感理解、多任务协调等。

在产业发展方面，这项技术有望催生新的商业模式和应用场景。从智能家居到医疗辅助，从教育陪伴到工业协作，具备澄清对话能力的机器人系统在各个领域都有广阔的应用前景。

研究团队在论文中也诚实地指出了当前系统的局限性和未来改进方向。比如，连接模块目前采用的是相对简单的特征调制方法，未来可以探索更复杂的注意力机制或对比学习方法。这种开放的研究态度为后续的技术发展留下了充足的空间。

更重要的是，这项研究为机器人技术的发展提供了新的评价标准。传统的机器人评估主要关注任务完成率和执行精度，而Ask-to-Clarify框架引入了交互质量、澄清效率等新的评价维度。这些指标对于开发真正实用的机器人系统具有重要的指导意义。

从长远来看，这种澄清对话技术可能成为未来智能系统的标准配置。无论是机器人、智能音箱还是其他人工智能产品，都需要具备处理模糊输入的能力。Ask-to-Clarify框架为这一发展方向提供了宝贵的技术基础和实现路径。

说到底，复旦大学这个研究团队的工作不仅仅是技术上的突破，更是对机器人与人类关系的重新定义。他们向我们展示了一个令人兴奋的未来：机器人不再是被动的工具，而是能够主动沟通、持续学习的智能伙伴。这种转变可能比我们想象的更快到来，也比我们预期的更深刻地改变我们的生活方式。

对于普通人来说，这意味着未来的家庭机器人将更加贴心和实用。你不再需要费心思考如何用精确的语言下达指令，只需要像对待朋友一样自然地表达需求，机器人会主动询问不明确的地方，确保准确理解你的意图。这样的机器人助手不仅能帮你做事，还能在过程中与你愉快地交流，真正成为生活中的贴心伙伴。

Q&A

Q1：Ask-to-Clarify框架是什么？它与传统机器人有什么区别？

A：Ask-to-Clarify是复旦大学团队开发的新型机器人框架，最大特点是能够主动询问澄清模糊指令。传统机器人只能被动执行明确指令，遇到"把水果拿过来"这样的模糊指令时要么随机选择要么失败。而Ask-to-Clarify框架的机器人会主动问"您要苹果还是橙子？"，确认后再准确执行。

Q2：这个技术什么时候能在家庭机器人中使用？

A：目前Ask-to-Clarify框架已在8个真实任务中验证成功，技术相对成熟。不过从实验室到商用产品还需要时间，预计在未来3-5年内可能会出现具备这种对话澄清能力的家庭机器人产品。成本下降和技术优化是主要考虑因素。

Q3：Ask-to-Clarify框架在复杂环境下表现如何？

A：测试显示该框架具有良好的适应性。在光线不足条件下，传统系统成功率从57.5%跌至22.5%，而Ask-to-Clarify仅从90%降至80%。即使有视觉干扰物存在，该框架仍能保持80%的成功率，明显优于传统系统的65%。