苹果AI研究院惊人突破：让电脑代理人既能点击又能编程的混合行动技术

这项由苹果公司和香港大学联合开展的研究发表于2025年10月，论文编号为arXiv:2510.17790v1，有兴趣深入了解的读者可以通过该编号查询完整论文。研究团队由苹果公司的杨雨昊、杨振、窦梓艺等多位研究员以及香港大学的黄超教授等学者组成，他们共同开发了一个名为UltraCUA的突破性AI系统。

在我们的数字时代，几乎每个人每天都要和电脑打交道——点击鼠标、敲打键盘、拖拽文件。但是，如果有一个AI助手能够像人类一样操作电脑，会是什么样子呢？目前的AI助手虽然能够通过API接口完成很多任务，但它们无法像人类一样直接操作屏幕上的按钮和菜单。而现有的电脑操作AI又只能进行基础的点击和输入，无法调用高级的程序功能。这就像是一个厨师要么只能用最基本的刀具切菜，要么只能使用高科技设备但不能碰任何食材一样。

苹果研究团队发现了这个问题的核心所在：为什么不能让AI既会"手工操作"又会"程序调用"呢？他们开发的UltraCUA系统就像是培养了一个既能精细手工制作又能熟练使用各种现代化工具的全能工匠。这个系统能够在需要精确控制的时候使用鼠标点击，在需要高效执行的时候调用程序工具，真正实现了两种能力的完美结合。

一、传统电脑AI的困境：只会一招的"专才"

要理解这项研究的重要性，我们先来看看现有的电脑操作AI面临的问题。目前的AI助手可以分为两大类型，就像两种不同的工人。

第一种AI就像是只会使用基础工具的学徒工。它们只能通过点击、输入、滚动这些最基本的动作来操作电脑，就好比一个人只能用最原始的工具来完成所有工作。比如说，如果要从多个电子表格中提取数据，这种AI必须一步步地打开每个文件、手动选择单元格、复制内容、切换应用程序、粘贴内容。整个过程不仅耗时，而且任何一个步骤出错都可能导致整个任务失败，就像多米诺骨牌一样产生连锁反应。

第二种AI则像是高级技师，它们能够直接调用各种API接口和程序工具，效率极高。这些AI在处理结构化任务时表现优异，在某些基准测试中甚至能达到80%以上的成功率。但是，它们有一个致命弱点：无法处理需要视觉判断的任务，无法像人类一样看着屏幕进行操作。

研究团队通过大量实验发现，纯粹依赖基础操作的AI在复杂任务中的错误率会急剧上升。这是因为每增加一个操作步骤，出错的可能性就会累积。就像搭积木一样，积木越高，倒塌的风险就越大。而且，许多本来可以通过一个程序调用就能完成的任务，却需要几十个基础操作步骤，不仅效率低下，还容易出错。

更重要的是，当前的电脑操作AI与那些能够使用丰富程序接口的AI之间存在着一道看似无法跨越的鸿沟。前者只能进行最基本的视觉操作，后者只能处理纯程序任务，两者无法互补。这就好比一个团队里有会开车的司机和会修车的技师，但他们无法协作，司机不懂维修，技师不会驾驶。

二、革命性解决方案：混合行动的巧妙设计

面对这个困境，苹果研究团队提出了一个革命性的解决方案：混合行动技术。这个概念的核心思想非常简单却又极其巧妙——为什么不能让AI在同一个任务中既使用基础的点击操作，又调用高级的程序工具呢？

混合行动就像是培养一个全能型选手。在需要精确视觉定位的时候，AI会像人类一样点击屏幕上的特定位置；在需要批量处理或复杂计算的时候，AI会直接调用相应的程序工具。这种设计让AI能够在最合适的时机选择最有效的操作方式。

为了实现这个想法，研究团队需要解决几个关键问题。首先是工具收集问题。他们开发了一套自动化的工具收集系统，这个系统就像是一个勤奋的图书管理员，能够从软件文档中提取有用的功能，整合开源社区的现有工具，甚至能够让AI自己编写新的工具。比如，系统发现在VS Code中更改主题需要通过复杂的菜单导航时，它会自动提取快捷键信息，将其转换为一个简单的程序调用：vscode.set_theme()。

其次是训练数据问题。传统的电脑操作数据集只包含基础的GUI操作序列，完全没有程序工具调用的示例。研究团队设计了一个双管齐下的合成数据生成引擎。这个引擎就像是一个创意十足的剧本作家，能够创造出各种真实场景下的任务，并确保每个任务都有可靠的验证方法。

他们的数据生成方法分为两种策略。第一种是"评估器优先"策略，就像是先制定好考试标准，然后设计符合标准的题目。系统首先收集各种状态检查函数，比如检查文件是否存在、检查网页URL是否正确等，然后将这些简单检查组合成复杂的验证条件，最后让AI生成满足这些条件的任务。第二种是"指令优先"策略，让AI在电脑环境中自由探索，当遇到有趣的界面状态时，就生成一个相应的任务。

最关键的是轨迹收集过程。研究团队使用了一个多智能体系统来生成高质量的混合行动演示。这个系统包含一个规划智能体和一个执行智能体，就像是一个优秀的指挥家和一个技艺精湛的演奏者的组合。规划智能体负责制定策略，决定什么时候使用程序工具，什么时候进行GUI操作；执行智能体则负责精确地完成具体的操作。通过这种方式，他们收集了超过26,800个成功的混合行动轨迹。

三、智能化的工具生态系统：从文档到代码的全方位收集

要让AI能够真正掌握混合行动，首先需要为它准备一个丰富的工具箱。研究团队开发的工具收集系统就像是一个不知疲倦的工具收集家，能够从各种渠道获取和创造实用的程序工具。

软件文档挖掘是这个系统的第一个重要功能。每个软件都有详细的用户手册和文档，其中包含了大量的快捷键和高级功能介绍。系统会自动分析这些文档，提取出有用的信息。比如，当系统发现VS Code的文档中提到更改颜色主题的快捷键是Ctrl+K，然后Ctrl+T时，它会自动将这个操作封装成一个简单的函数调用。这样，原本需要多个步骤的GUI操作就变成了一个可靠的程序调用。

开源资源整合是另一个重要渠道。研究团队发现，开源社区已经开发了许多优秀的自动化工具，比如AgentS2和AgentStore项目中的各种实用函数。系统会自动收集这些现有工具，并将它们整合到自己的工具库中。比如，有一个电子表格操作工具能够批量设置单元格数值，原本需要逐个单元格点击输入的任务，现在只需要一个函数调用就能完成。

最有趣的是编程智能体生成功能。当系统遇到没有现成工具可用的情况时，它会启动一个专门的编程智能体来创造新工具。这个智能体就像是一个经验丰富的程序员，能够分析任务需求，编写相应的代码，并通过自动化测试确保代码的正确性。比如，当需要批量修改VS Code的键盘绑定设置时，编程智能体会分析相关的配置文件格式，编写一个专门的函数来处理这类任务。

通过这三种方式，研究团队最终收集了881个涵盖不同应用领域的程序工具。这些工具覆盖了从Chrome浏览器操作到图像编辑，从文档处理到代码开发等各个方面。每个工具都被精心设计成Python函数的形式，配有详细的文档说明，让AI能够理解什么时候使用哪个工具。

四、合成数据引擎：创造真实世界的虚拟训练场

有了丰富的工具库，下一个挑战是如何生成足够的训练数据。传统的AI训练往往依赖于人工标注的数据，但是为混合行动AI生成训练数据面临着独特的挑战：任务必须足够复杂以体现混合行动的优势，同时又必须有可靠的方法来验证任务是否完成。

研究团队设计的合成数据引擎就像是一个精密的任务制造工厂，能够自动生成各种真实场景下的电脑操作任务。这个引擎使用两种互补的策略来确保生成的任务既有质量又有数量。

评估器优先策略的工作原理类似于"先定标准，后出题目"。系统首先从OSWorld等基准测试中收集各种原子级的验证函数，这些函数就像是小型的检查员，能够验证特定的系统状态。比如，有些函数检查特定文件是否存在，有些检查网页URL是否正确，还有些检查应用程序的设置是否符合要求。然后，系统会对这些基础检查函数进行重新编程，修改参数或组合多个检查条件，创造出更复杂的验证标准。

最后，系统让大语言模型根据这些验证条件生成相应的任务。比如，当系统组合了文件检查器和URL检查器后，可能会生成这样的任务："浏览Python官方文档页面，并将教程PDF下载到Documents文件夹"。这个任务需要AI既能进行网页浏览操作，又能进行文件系统操作，完美体现了混合行动的价值。通过这种方式，系统生成了超过4,000个高质量的复杂任务。

指令优先策略则采用了相反的思路，就像是"先探索环境，后发现任务"。系统让AI在各种应用程序中进行探索性的随机操作，当到达某个有趣的界面状态时，就分析当前的环境并生成一个合适的任务。比如，当AI在文件管理器中浏览时，系统可能会生成"创建一个新的电子表格"这样的任务。这种方法生成的任务更贴近真实用户的使用模式，为系统提供了超过12,000个多样化的训练任务。

为了让生成的任务更加真实，系统还包含了一个工作空间模拟组件。这个组件就像是一个细心的舞台设计师，能够为不同类型的任务准备合适的环境。当任务涉及代码编辑时，系统会从GitHub上下载真实的代码项目；当任务涉及图像处理时，系统会从维基百科公共资源库中获取开源图片；当任务涉及文档编辑时，系统会生成各种格式的示例文档。这种细致的环境准备确保AI在训练时面对的是真实世界的复杂情况，而不是简化的理想化场景。

五、多智能体协作：规划者与执行者的完美配合

为了生成高质量的混合行动训练数据，研究团队设计了一个精巧的多智能体系统。这个系统就像是一个优秀乐团的指挥家和首席演奏者的组合——规划智能体负责整体策略制定，执行智能体负责精确操作实现。

规划智能体使用的是OpenAI的o3模型，这是一个强大的推理模型，擅长制定复杂的行动计划。它的工作就像是一个经验丰富的项目经理，能够分析任务需求，评估可用资源，然后决定最优的执行策略。当面对一个复杂任务时，规划智能体会考虑多个因素：哪些部分可以通过程序工具快速完成，哪些部分需要精确的视觉定位，如何在两种操作模式之间进行最优切换。

执行智能体使用的是GTA1-7B模型，这是一个专门为GUI操作优化的视觉模型。它就像是一个技艺精湛的演奏者，能够精确地执行规划智能体制定的每一个操作指令。当需要进行GUI操作时，执行智能体会仔细分析屏幕图像，精确定位目标元素，然后执行相应的点击或输入操作。

两个智能体之间的协作过程非常有趣。规划智能体会根据任务的性质选择最合适的行动方式。如果某个操作有对应的程序工具，并且使用工具会更高效可靠，规划智能体就会选择调用程序工具。如果某个操作需要视觉判断或者没有对应的程序工具，规划智能体就会将控制权转交给执行智能体进行GUI操作。

这种协作模式带来了显著的效果提升。在复杂任务中，纯GUI操作的成功率通常只有44%左右，而混合行动的成功率能够达到48.2%，同时平均步骤数还减少了近15%。这个改进看似不大，但考虑到任务的复杂性，这已经是一个非常显著的进步。

更重要的是，这个系统生成的轨迹展现了真正的智能行为模式。AI学会了在合适的时机进行模式切换，比如先用GUI操作选择目标文件夹，然后用程序工具进行批量操作，最后再用GUI操作验证结果。这种灵活的策略制定能力是传统单一模式系统无法达到的。

六、工作记忆机制：让AI不会忘记之前做了什么

在复杂的多步骤任务中，AI面临着一个类似人类的挑战：如何在长时间的操作过程中保持对任务状态的准确记忆。当AI在程序工具调用和GUI操作之间频繁切换时，很容易丢失重要的中间信息，就像一个人在厨房里同时准备多道菜时可能会忘记哪个锅里的汤已经煮了多久。

研究团队为此设计了一个巧妙的工作记忆机制。这个机制使用了特殊的记忆标签来帮助AI维护任务状态。AI会在执行过程中自主地记录重要信息，包括任务目标、已完成的步骤、提取的关键数据以及需要在后续步骤中使用的中间结果。

工作记忆的内容通常包含三个核心部分。首先是任务目标和约束条件的记录，确保AI在长时间操作过程中不会偏离原始目标。其次是进度跟踪信息，记录哪些步骤已经完成，当前处于什么状态，下一步需要做什么。最后是信息传递内容，记录在不同操作步骤之间需要传递的数据，比如文件路径、界面元素状态、提取的数值等。

比如，在一个书签管理任务中，AI的工作记忆可能会记录："任务：在书签栏创建'收藏夹'文件夹；进度：Chrome已打开，书签栏可见；下一步：通过Ctrl+Shift+O访问书签管理器"。这种结构化的信息记录确保AI在每个操作步骤都能准确理解当前状况和下一步行动。

实验结果显示，工作记忆机制虽然看起来简单，但效果显著。使用工作记忆的模型比不使用的模型成功率提高了6.3%，平均步骤数也略有减少。这个改进对于需要持久状态信息的任务特别重要，比如文件操作、表单填写和跨应用程序的工作流程。工作记忆帮助AI避免了重复操作，比如重新导航到之前访问过的页面，或者重新提取已经获得的信息。

七、两阶段训练策略：从模仿学习到强化优化

拥有了工具库、合成数据和协作框架后，下一个关键步骤是如何训练AI模型。研究团队采用了一个精心设计的两阶段训练策略，就像是先让学生通过教科书学习基础知识，然后通过实践练习来掌握高级技巧。

第一阶段是监督微调阶段，类似于传统的课堂教学。AI通过学习26,800个高质量的混合行动轨迹来掌握基本的操作模式。这些轨迹就像是优秀师傅的操作示范，展示了在不同情况下应该如何选择和组合不同的行动方式。为了确保训练的均衡性，研究团队对每个轨迹的每个步骤都进行了平等的训练，避免模型过度关注轨迹的早期步骤而忽略后期的重要操作。

监督学习阶段让AI掌握了混合行动的基本语法和语义。AI学会了程序工具的调用语法，理解了不同工具的适用场景，也掌握了GUI操作的基本技巧。但是，仅仅通过模仿学习很难让AI真正理解什么时候应该选择哪种操作方式，这就需要第二阶段的强化学习。

第二阶段是在线强化学习阶段，类似于让学生通过实际项目来提升技能。在这个阶段，AI需要在真实环境中尝试不同的策略，通过成功和失败的反馈来优化自己的决策能力。研究团队设计了一个特殊的奖励机制来指导这个学习过程。

奖励机制包含两个组成部分。基础奖励反映任务的完成情况：成功完成任务获得+1分，失败获得-1分。工具使用奖励则鼓励AI在成功完成任务的前提下使用程序工具：如果任务成功完成且使用了程序工具，额外获得0.3分的奖励。这种设计确保AI不仅要学会完成任务，还要学会高效地完成任务。

有趣的是，研究团队发现传统强化学习中常用的格式奖励在这里并不适用。由于程序工具的语法比较复杂，AI在学习初期经常出现语法错误。如果对这些格式错误进行惩罚，反而会阻碍AI学习工具使用。因此，他们选择只关注结果奖励，让AI通过成功的例子自然地掌握正确的语法。

强化学习阶段带来了显著的行为改变。训练前，AI经常盲目地使用程序工具，即使在不合适的场景下也会强行调用，导致大量的工具调用失败。训练后，AI变得更加谨慎和智能，学会了在合适的时机选择合适的工具。失败的工具调用减少了46%，而成功的工具调用增加了5%，整体的工具使用策略变得更加成熟。

八、实验验证：在真实世界中的卓越表现

为了验证UltraCUA系统的实际效果，研究团队在多个具有挑战性的基准测试上进行了全面评估。这些测试就像是为AI准备的综合性考试，既要测试基础技能，也要考察在复杂环境下的应对能力。

OSWorld基准测试是主要的评估平台，这是一个包含369个真实电脑操作任务的测试集。这些任务涵盖了从办公软件操作到开发环境配置的各个方面，每个任务都有确定的起始状态和明确的成功标准。在这个测试中，UltraCUA-7B模型达到了28.9%的成功率，比基础的UI-TARS-1.5-7B模型提高了23.5%。更令人印象深刻的是UltraCUA-32B模型，成功率达到了41.0%，超过了许多更大规模的模型。

更有趣的是跨平台泛化能力的测试。研究团队在WindowsAgentArena上测试了完全没有接受过Windows训练的UltraCUA-7B模型。这就像是让一个只在中式厨房工作过的厨师去法式厨房展示技艺。结果令人惊喜：UltraCUA-7B在Windows环境下达到了21.7%的成功率，超过了专门在Windows数据上训练的Qwen2-VL-7B模型的13.5%，也超过了UI-TARS-1.5-7B的18.1%。这个结果证明了混合行动策略具有很强的跨平台适应性。

详细的领域分析揭示了混合行动的广泛适用性。在不同的应用程序类别中，UltraCUA都表现出了显著的改进。在GIMP图像编辑任务中，32B模型的成功率达到了70.0%，在LibreOffice Writer文档处理任务中达到了62.5%，在VS Code开发环境任务中达到了54.3%。这些改进并不是某个特定领域的偶然成功，而是混合行动策略的普遍优势。

效率分析同样令人印象深刻。UltraCUA不仅在成功率上有所提升，在执行效率上也有明显改进。平均而言，UltraCUA完成任务的步骤数比传统方法减少了约11%。这种效率提升主要来自于程序工具的使用——原本需要多个GUI操作才能完成的任务，现在可以通过一个工具调用来实现。

九、深度分析：混合行动的智能决策模式

为了更深入地理解UltraCUA的工作原理，研究团队对模型的工具使用模式进行了详细分析。这种分析就像是研究一个优秀工匠的工作习惯，试图理解他们是如何在不同情况下选择最合适工具的。

工具使用频率与模型能力之间存在着有趣的正相关关系。更强大的模型倾向于使用更多的工具，并且工具使用的多样性也更高。GTA1-7B+o3这样的多智能体框架在每个应用域中使用60-80个工具调用和8-10种不同工具，而UltraCUA-32B使用20-40个工具调用，UltraCUA-7B则相对保守，只使用0-20个工具调用。这种模式表明，随着模型能力的提升，AI能够更好地识别和利用程序工具的效率优势。

强化学习阶段的行为变化分析揭示了学习过程的内在机制。训练初期，AI经常出现工具调用失败的情况，就像是一个新手工人不知道什么时候该使用什么工具。通过强化学习，AI逐渐学会了更加谨慎和选择性的工具使用策略。失败的工具调用从122个减少到66个，减少了46%，而成功的工具调用则稳步增加。

更重要的是，AI学会了战略性的工具使用。在训练后，AI不再盲目地尝试使用每一个可用的工具，而是会根据任务的具体需求进行选择。这种行为变化反映了AI对工具适用性的深度理解。比如，在处理文档格式化任务时，AI会优先选择文档编辑工具；在处理批量文件操作时，AI会选择文件系统工具。

跨域工具泛化能力的测试提供了另一个有趣的发现。当向系统引入训练时未见过的新工具时，UltraCUA仍然能够有效地使用这些工具，成功率甚至略有提升。这种零样本工具泛化能力表明，AI不仅学会了使用特定工具，更重要的是学会了理解工具的一般性原理和使用模式。

十、技术细节：记忆机制的精妙设计

UltraCUA系统中最精妙的设计之一是工作记忆机制的实现。这个机制解决了复杂多步骤任务中的状态维护问题，就像是为AI配备了一个智能的笔记本，能够记录和检索关键信息。

工作记忆的设计哲学是让AI自主管理任务状态，而不是依赖外部存储系统。AI通过特殊的记忆标签来结构化地维护信息，这些标签包含在AI的输出中，形成了一个自包含的记忆系统。这种设计的优势在于，记忆内容与推理过程紧密集成，AI可以在生成每个行动决策时同时更新和利用记忆信息。

记忆内容的组织遵循三层结构。顶层是任务目标和约束条件，这些信息在整个执行过程中保持相对稳定，为所有后续决策提供指导。中间层是动态的进度跟踪信息，记录当前的执行状态、已完成的里程碑以及下一步的计划。底层是具体的数据载荷，包括文件路径、用户界面元素的状态、从屏幕或程序调用中提取的数值等。

记忆机制在跨模态操作切换中发挥着特别重要的作用。当AI从GUI操作切换到程序工具调用时，记忆系统确保重要的视觉信息能够传递给程序逻辑。反之，当从程序调用切换回GUI操作时，程序执行的结果也能够被有效地利用。比如，AI可能先通过GUI操作选择了一个文件夹，将路径信息记录在记忆中，然后调用程序工具进行批量处理，最后再通过GUI操作验证结果。

实验数据显示，工作记忆机制带来的6.3%成功率提升虽然看似不大，但在复杂任务中意义重大。特别是在需要多次信息传递的任务中，比如从多个源收集数据然后在另一个应用中使用，记忆机制的价值更加明显。没有记忆机制的AI经常会重复执行已经完成的操作，或者在后续步骤中忘记重要的中间结果。

十一、实际应用案例：三个精彩的操作示例

为了更直观地展示UltraCUA的工作原理，研究团队提供了三个典型的操作案例，这些案例就像是精心编排的表演，展示了混合行动的优雅和高效。

第一个案例是电子邮件批量加星标任务。传统的AI需要逐个选择邮件，然后为每封邮件单独点击星标按钮，整个过程繁琐且容易出错。UltraCUA则采用了一个聪明的策略：首先使用精确的GUI点击选择目标文件夹"Bills"，建立操作上下文；然后立即切换到程序工具模式，调用select_all函数选择所有邮件，接着调用add_or_remove_star函数批量添加星标。这种操作方式将原本需要几十个步骤的任务压缩到了四个步骤，不仅效率高，而且几乎不会出错。

第二个案例展示了浏览器历史记录清理任务。这个任务的挑战在于需要导航到特定的设置页面，然后进行精确的筛选和删除操作。UltraCUA首先调用open_history_page工具直接跳转到历史记录页面，绕过了复杂的菜单导航过程。然后在搜索框中输入"youtube.com"进行筛选，选中所有相关记录，最后点击删除按钮。这个案例完美展示了程序工具在导航中的效率优势和GUI操作在精细控制中的灵活性。

第三个案例是最具挑战性的批量图像处理任务。当用户要求"将桌面上的所有图像亮度调整到50%"时，UltraCUA展现了真正的智能。它认识到这是一个典型的批处理任务，单纯的GUI操作会非常低效。因此，AI选择了一个程序化的解决方案：调用系统终端工具，安装必要的图像处理软件ImageMagick，然后编写并执行一个shell脚本来批量处理所有图像。这种解决方案不仅高效，而且展示了AI在面对复杂问题时的创造性思维能力。

这三个案例揭示了UltraCUA的核心智能：它不是简单地在两种操作模式之间随机切换，而是会根据任务的性质、效率要求和可靠性需求来做出最优选择。当需要精确定位时，它会使用GUI操作；当需要批量处理时，它会选择程序工具；当面对复杂的自动化需求时，它甚至会编写代码来解决问题。

十二、技术突破的深层意义：重新定义人机交互

UltraCUA的成功不仅仅是一个技术指标的提升，它代表了人机交互paradigm的一个重要转变。这种转变的意义就像是从马车时代跨入汽车时代一样深远。

传统的电脑操作AI面临着一个根本性的限制：它们只能模仿人类的操作方式，通过点击和输入来与计算机交互。这种设计虽然保证了广泛的兼容性，但也继承了人类操作的所有局限性。人类需要通过图形界面操作计算机，是因为我们需要直观的视觉反馈，但AI并不一定需要这种间接的交互方式。

UltraCUA的混合行动方法打破了这个思维定式。它让AI能够在需要视觉判断的时候像人类一样操作，在需要高效执行的时候像程序一样工作。这种设计哲学认识到，AI不应该完全模仿人类的行为模式，而应该发挥自己的独特优势。

从技术架构的角度来看，混合行动代表了一种新的智能系统设计思路。传统的AI系统往往专注于单一的接口类型：要么是API调用系统，要么是GUI操作系统。UltraCUA证明了多接口融合的可行性和优越性。这种设计思路可能会影响未来AI系统的架构方向，促使更多的系统采用多模态、多接口的设计。

从应用前景来看，混合行动技术为AI助手的实用化开辟了新的道路。目前的AI助手要么局限于特定的API生态系统，要么在复杂任务中表现不佳。UltraCUA展示了一个未来的可能性：AI助手能够无缝地在任何计算环境中工作，既能利用现有的程序接口，又能处理没有API支持的应用程序。

更重要的是，这项研究为AI的自主学习能力提供了新的启示。UltraCUA不仅能够使用预定义的工具，还能够在遇到新工具时快速适应，甚至能够编写新的工具来解决未预见的问题。这种能力暗示着一个更加自主和创造性的AI未来。

说到底，UltraCUA的真正价值在于它展示了一种新的思考方式：如何让AI系统既保持人类操作的灵活性，又发挥计算机程序的效率优势。这种思路不仅适用于电脑操作领域，也可能启发其他需要多模态交互的AI应用。归根结底，这项研究提醒我们，最优秀的AI系统不是那些最完美地模仿人类的系统，而是那些能够结合人类智慧和机器能力的系统。

研究团队的工作为我们描绘了一个令人兴奋的未来图景：AI助手将不再被局限于特定的接口或环境，而是能够像真正的数字助理一样，在任何情况下都能找到最有效的方式来帮助用户完成任务。这种技术进步最终会让我们的数字生活变得更加便利和高效，让计算机真正成为我们创造和工作的得力伙伴。

Q&A

Q1：UltraCUA是什么？

A：UltraCUA是由苹果公司和香港大学联合开发的AI系统，它的核心能力是能够同时使用鼠标点击操作和程序工具调用来操作电脑。这就像培养了一个既会手工操作又会使用高科技设备的全能工匠，能够根据任务需要选择最合适的操作方式。

Q2：混合行动技术比传统方法有什么优势？

A：混合行动技术的主要优势是效率和可靠性的双重提升。在OSWorld测试中，UltraCUA比传统方法成功率提高了22%，步骤数减少了11%。这是因为AI可以在需要精确控制时使用GUI操作，在需要批量处理时使用程序工具，避免了传统方法中容易出现的连锁错误。

Q3：普通用户什么时候能用上这种技术？

A：目前UltraCUA还处于研究阶段，苹果公司表示会开源相关代码和数据集以促进研究发展。虽然具体的商业化时间表还未公布，但这种技术未来可能会集成到智能助手产品中，帮助用户自动完成复杂的电脑操作任务。