NVIDIA与华盛顿大学联手打造：当AI学会给自己出题，电脑操控正确率一夜飙升18个百分点

这项由NVIDIA与华盛顿大学联合完成的研究，以技术报告的形式于2026年6月15日发布，编号为arXiv:2606.17321v1，归类于计算机学习领域（cs.LG）。感兴趣的读者可以通过该编号在arXiv平台查阅完整论文。

你有没有试过教一个从没用过电脑的人学打字？你得先告诉他键盘在哪里，然后告诉他怎么找到对应的字母，接着还要告诉他打完之后怎么保存文件。每一步都得手把手。现在，研究人员面对的挑战更复杂：他们要训练一个AI，让它仅凭屏幕截图就能自己操作电脑——打开文件、填写表格、在应用之间切换——就像一个真实的人类用户那样。这类系统被称为"电脑操控智能体"（Computer-Use Agent，简称CUA）。

问题是，要训练这样的AI，需要大量"示范录像"——也就是人类一步步操作电脑时留下的完整记录：每一帧截图，每一次点击和键盘输入。收集这些数据的代价极其高昂，因为每一条训练数据都需要一台完整运行的虚拟电脑，安装好各种软件，准备好真实文件，然后让人类在上面操作。不像教AI写文章那样，拿一堆网页文字就能搞定。

NVIDIA和华盛顿大学的研究团队决定换一条路走：与其耗费巨资收集人类示范，不如让AI自己给自己出题、自己解题、自己留下记录。这个系统被命名为ProCUA-SFT，最终产出了310万条训练样本，分布在9.3万条完整操作轨迹中，覆盖2484种应用组合。训练一轮之后，被测试的AI模型在业界标准测试集OSWorld上的成功率从26.3%直接跳升到45%，足足提高了18.7个百分点。

这个成绩意味着什么？且听下文慢慢道来。

一、人类示范为何反而"帮了倒忙"

在ProCUA-SFT出现之前，这个领域最大的公开训练数据集叫AgentNet，由2.25万条人类真实操作轨迹组成，横跨三个操作系统。按理说，有真人示范，效果应该更好才对。

然而实验结果令研究人员大跌眼镜。当他们把AgentNet用来继续训练一个原本表现还不错的模型（UI-TARS 7B，基础成功率26.3%）时，训练之后的模型在OSWorld测试中成功率直接跌到了8%到10%之间——比什么都不做还要糟糕整整一半。这种"越学越差"的现象在机器学习领域有个专门的名字，叫"负迁移"，意思是新学的内容不仅没帮上忙，反而干扰了原有的能力。

研究团队分析之后，认为问题出在三个地方。其一，AgentNet里的任务种类太单一，绝大多数都是单一应用内的简单操作流程，平均每条轨迹只有17个步骤，很少涉及需要在多个软件之间反复切换的复杂任务；其二，数据中缺少跨应用推理的场景，而OSWorld测试偏偏喜欢考这类题；其三，众包收集的人工示范本身质量参差不齐，噪声较大。

换句话说，用这批数据训练，就像是让一个厨师反复练习只炒一道白菜，然后去参加需要完成整桌满汉全席的比赛——不只是没有帮助，甚至还打乱了原有的直觉和节奏。

既然真人示范有这些缺陷，研究团队决定走向另一个极端：完全合成的轨迹数据。但合成数据同样有它自己的陷阱。

二、合成数据的老毛病：让AI去开一扇根本不存在的门

合成数据最常见的失败模式是什么？举个例子：AI根据屏幕上的样子，随手生成一个任务，比如"打开桌面上的Q3财务报告并在其中添加图表"。但问题是，桌面上根本就没有这个文件。AI兴冲冲地去执行，结果什么都找不到，整个操作轨迹从一开始就是无效的。这样的废弃轨迹不但浪费了大量计算资源，更糟糕的是，如果不小心把它们混入训练数据，AI会学会"凭空捏造"——在文件不存在时假装找到了，在应用没有安装时假装打开了。

这就好比一个学徒厨师从来没见过真实的食材，每次都在菜谱上写"取一颗鲜松露"，但厨房里根本没有松露。这种训练方式只会培养出一个会说谎的厨师，而不是一个真正会做菜的人。

研究团队为了解决这个问题，设计了一套"先确认食材，再写菜谱"的机制，这也是ProCUA-SFT整个流水线中最核心的创新之一。

三、"出题前先核查条件"：让每道题都有解

ProCUA-SFT整个数据生成流程的起点，是一台刚启动的虚拟Linux桌面。接下来的事情，可以用"厨房备课"来理解：在正式开始烹饪之前，先仔细清点冰箱里有什么、炉子有没有开、锅具齐不齐。

具体来说，整个流程用到了一个单一的视觉语言大模型——Kimi-K2.5，这个模型在不同环节扮演三种角色：出题者、核查者和执行者。

出题者负责观察当前桌面的截图，结合操作系统的配置信息（比如哪些文件被放到了桌面上、哪些应用被预先启动了、哪些网页被打开了），同时参考一批真实人类任务作为风格参考，然后生成一个目标任务和一组二值条件判断题。所谓"二值条件判断题"，指的是一系列只有"是"或"否"两种答案的具体问题，比如"Q3.xlsx文件是否存在于桌面上"、"LibreOffice Calc是否已安装"、"屏幕是否处于解锁状态"。这些问题不是模糊的，每一个都能被明确地判断。

核查者则逐一对这些条件进行核实——用同一个Kimi-K2.5模型，但换了一套提示词——看着当前的桌面截图，逐条给出"通过"或"不通过"的裁决。只有当所有条件都通过时，这个任务才被允许进入下一步实际执行。如果有任何一个条件不通过，整个任务就被退回，失败的条件会被如实记录下来，并反馈给出题者，让它重新出一道更贴近当前环境实际情况的题。这个出题-核查-退回的循环最多可以进行若干轮，直到找到一个完全可行的任务，或者判定这个桌面状态实在出不了好题为止。

这种机制的精妙之处在于两点。其一，要求出题者在提出目标的同时必须给出可验证的条件，这强迫它说人话、说具体话，不能含糊其辞。其二，系统配置信息也被同时提供给核查者，所以即便某个文件是通过后台脚本静默上传到磁盘的、没有在桌面截图上直接可见，核查者也能知道它的存在，任务多样性因此大大扩展。

四、给桌面填充真实世界的复杂内容

光有"出题前核查条件"还不够，因为如果桌面上摆的只是空白的新建文档或者默认模板，AI能练到的技能就非常有限——就像一个厨师在只有白开水的厨房里练手，永远无法学会处理复杂食材。

为了让任务真正有难度、有深度，研究团队从三个来源向桌面"注入"真实内容。

第一类来源是OSWorld提供的初始配置快照。OSWorld是这个领域的权威测试基准，它本身附带一批多应用启动状态，涵盖网页浏览、终端操作和办公软件等场景。排除掉那些需要Google Drive账号的配置之后，研究团队把这些快照用作训练数据的一部分，主要用来保证数据的广度。

第二类来源是SpreadsheetBench中的912个真实电子表格。这些表格是从网络上的Excel论坛收集来的，规模惊人——有的超过100列，有的超过2万行，包含复杂的多表交叉引用、非标准布局和丰富的非文字内容。每个表格被作为测试环境的一部分上传到虚拟桌面并在LibreOffice Calc中打开，让AI有机会练习真正复杂的表格操作：跨表聚合数据、绘制图表、将结果导出为PDF或CSV等。

第三类来源是Zenodo10K，一个包含约1万个演示文稿（.pptx格式）的公开数据集，所有文件均采用CC-BY 4.0开放许可协议。这批文件来自Zenodo开放科研平台，科研人员在上面发布论文时往往同时上传相关的幻灯片、附录和数据文件，这些相关文件被统一编号为同一"父记录"。研究团队充分利用了这个特性——每次训练时，随机选取一个父记录，将其下属的所有文件全部上传到桌面，然后随机打开一到三个演示文稿，其余文件留在桌面作为"旁观者文件"，让AI有机会通过文件管理器去发现和使用它们。这样的设置模拟了真实用户的工作环境：桌面上往往同时存放多个相关文件，而不是孤零零的一个。

这三类内容组合在一起，配合前面的"先核查再出题"机制，使得每个生成的任务既真实复杂、又明确可行——既能难倒AI、又不至于难到根本无解。

五、同一个AI既出题又解题，消除"眼高手低"

传统的数据合成流程往往分为两个阶段：先由一个能力强的规划模型制定目标，再由执行模型去完成任务。这种分工看似合理，实则暗藏风险——如果规划者比执行者能力强得多，规划者就会出一些执行者根本完不成的题，大量轨迹就算走到一半也是废的，甚至还会教会模型"接受不可能的任务并硬撑着走下去"。

ProCUA-SFT选择让Kimi-K2.5一手包揽三个角色：出题、核查、执行全由同一个模型完成，只是在不同环节使用不同的提示词。这样的设计确保出题者的认知边界和执行者的能力边界完全重合——它不会出自己做不到的题，也不会因为"规划者和执行者不是同一个大脑"而产生信息断层。

在执行阶段，模型每一步都会看到当前桌面截图、总目标、以及一个滑动窗口内的历史记录，然后输出一段推理思考（用`<think>...</think>`包裹）和一段具体的操作代码。操作代码要么是pyautogui指令（包括点击、移动光标、按快捷键、输入文字、滚动、拖拽等），要么是两个特殊控制函数之一：`wait()`用于等待程序加载，`terminate(status, answer)`用于主动宣布任务完成或失败，并可选填一个文字形式的答案。

关于历史记录的处理，研究团队做了一个精心的设计。由于高清截图占用大量内存和算力，他们规定：最近三步的截图以完整图像形式保留，更早的步骤则被压缩成一段文字摘要（格式为"第k步：推理：… 回应：…"）附加在系统提示前面。这个设计的关键在于，训练时的数据格式与推理时的数据格式完全一致——AI在训练时看到的是什么样的输入结构，在实际使用时看到的就是同样的结构，不存在"训练和考试用不同题型"的问题。

六、一条轨迹变成多份练习题：步前缀展开

最朴素的做法是，每条完整轨迹只生成一条训练样本，用最后一步的结果来代表整条轨迹。这种做法浪费了轨迹中绝大多数步骤蕴含的信息。

ProCUA-SFT采用了一种叫"步前缀展开"的方法来解决这个问题。具体来说，如果一条轨迹总共有T步，就把它展开成T条独立的训练样本。第t条样本的输入包含：总目标、前t-1步的截图历史（最近三步保留完整图像，更早的以文字摘要呈现）、以及第t步之前的所有操作记录；输出则是第t步的推理思考和具体操作。这样，从第一步到最后一步，每一步都成为一道独立的练习题。

这种处理方式有一个直觉上容易理解的好处：越早的步骤包含越多关于"如何开始任务"的信息，而这恰恰是AI最难学习的部分——它需要在什么都还没做的情况下，从一片空白开始规划行动路线。把每一步都变成训练样本，就等于让AI在各种不同进度的中间状态下都练习过"下一步该怎么做"，而不仅仅是从零开始的那一刻。

整个数据最终以LLaMA-Factory的ShareGPT格式输出，截图通过`<image>`占位符嵌入对话流，训练目标是AI的推理和行动部分，同时过滤掉任何截图文件缺失的样本，最后对所有样本进行打乱和分片处理。

七、如何在大规模计算集群上同时跑数千台虚拟电脑

收集310万条步骤样本，意味着需要让数以千计的虚拟Linux桌面同时运行，这本身就是一个工程挑战。

研究团队在基础架构层面做了两个关键决策。其一，推理计算和环境执行彻底分离。Kimi-K2.5模型被部署为一个无状态的、兼容OpenAI接口的vLLM服务端，每个数据采集进程各自拥有自己的虚拟机，通过HTTP向模型服务端发送请求。由于模型是无状态的、虚拟机环境才是运行慢的那一侧，二者可以独立横向扩展。在同一批Slurm计算节点上，GPU跑模型推理，CPU跑虚拟机，高清截图数据走节点内部总线传输，避免节点间的带宽开销。

其二，虚拟机后端采用可插拔设计，支持两种完全互换的模式。第一种叫Singularity本地模式，将OSWorld的QEMU/KVM虚拟化栈打包成一个Singularity（Apptainer）格式的容器镜像，不需要root权限、不需要Docker守护进程，可以直接部署在标准HPC集群上。如果主机硬件支持/dev/kvm，就用硬件加速；如果不支持，就自动退回软件模拟，以速度换兼容性。第二种叫NVCF无服务器模式，当本地KVM资源不可用或已经用满时，相同的采集代码可以转而驱动NVIDIA云函数（NVCF），NVCF会自动完成容器的部署、扩缩和回收。为了不在一个注定失败的部署上浪费付费的GPU时间，系统会在提交NVCF部署请求之前，先把所有需要的初始化文件下载到本地缓存，确认全部成功后才正式发起部署。

在任务调度上，每个采集进程内部用异步线程池将"初始化虚拟机"和"采集轨迹"两个阶段流水线化，让慢速的系统启动不会阻塞正在进行中的轨迹采集。顺序启动虚拟机的策略避免了大量虚拟机同时启动时对QEMU/KVM堆栈造成冲击。每一步轨迹数据都实时写入磁盘，确保节点级别的故障最多只损失一条正在进行中的轨迹。

八、实验结果：成绩单说话

训练设置方面，研究团队使用UI-TARS 1.5 7B作为基础模型，在ProCUA-SFT和AgentNet上各训练一个完整的epoch，序列最大长度32k，批大小512，学习率2e-5，余弦学习率调度，权重衰减0.1。

测试基准是OSWorld，这是目前最具权威性的桌面CUA测试集，包含369个在真实Linux/Windows/macOS虚拟机中运行的任务，考生（AI模型）拥有完全的键盘和鼠标控制权。

训练过程中，用ProCUA-SFT训练的模型（蓝线）从初始的约11.7%起步，在约4800个训练步骤内稳步攀升至45%的峰值，全程呈现出清晰的上升趋势。用AgentNet训练的模型（红线）则在约750个步骤（一个epoch）内就陷入平台期，停滞在8%到10%之间，不但远低于未经额外训练的基础模型（26.3%的虚线），更与ProCUA版本的成绩相差35个百分点。

为什么ProCUA-SFT效果这么好，而AgentNet效果这么差？研究团队通过分析两个数据集的统计特性，找到了三条清晰的解释线索。

ProCUA的轨迹长度明显更长，平均约29.7步，而AgentNet只有18.6步，而且ProCUA的长尾分布更重，说明它包含了更多需要多步规划的复杂任务。在应用分布上，近一半的ProCUA轨迹针对的是LibreOffice系列软件（Impress占24%、Calc占17%、Writer占6%），另有20%涉及多应用协作——而这两类恰恰是OSWorld测试中的高权重类别。AgentNet则大量集中在单应用任务上，且Windows和Mac系统的轨迹（共约1.8万条）根本没有记录应用标签，难以进行精确比较。在操作类型分布上，AgentNet的操作中有约63%是鼠标点击，而ProCUA只有约41%是点击，更多的操作被分配到键盘快捷键和文字输入上——而后者天然比依赖像素精度的点击更稳定、更可靠。

九、多样性实验：覆盖哪些应用比什么都重要

研究团队还做了一组专门的消融实验，探究"在训练数据中引入什么样的多样性最有价值"。他们固定了约700个训练步骤的预算，从一个包含11.18万条轨迹的大池子中，按照四种不同策略各抽取一批训练样本进行比较：不做任何多样性控制（随机采样）、按照操作类型做轮转采样、按照应用组合做轮转采样、以及同时按应用组合和操作类型做双层嵌套轮转采样。

结果非常明确。按应用组合轮转采样的得分是30.9%，是四种策略中唯一超过基础模型（26.3%）的策略，比随机采样的27.3%高出3.6个百分点。反观按操作类型采样，得分仅24.9%；双层嵌套策略得分25.5%，二者都不如随机采样。这个结论直接表明：在CUA数据集的维度上，应用组合的多样性才是最关键的轴，刻意平衡不同操作类型反而会适得其反。

十、轨迹结构分析：像地图一样看清AI的操作路径

研究团队还对数据集中的轨迹进行了深层次的结构分析，把每条轨迹抽象成一张有向图：节点代表应用界面或屏幕状态，边代表触发状态转移的操作。从这张图中，他们提取了八个刻画轨迹复杂度的指标，包括屏幕节点数、转移边数、循环次数（反映回退和重试行为）、总操作步数、涉及的应用数量、应用切换次数、线性度分数（1.0表示完全线性的操作序列）和屏幕重访率。

基于对约3.4854万条轨迹（覆盖61种应用组合）的分析，典型轨迹的中位数特征是：经过5个屏幕状态、5次状态转移、执行19个操作。线性度中位数为0.86，表明大多数轨迹相当线性，其中42.3%完全线性（线性度=1.0），仅2.2%呈现高度非线性结构（线性度<0.5）。约35.8%的轨迹不含任何循环，56.7%含1到5个循环，7.5%含超过5个循环。73.9%的轨迹是单应用操作，18.5%涉及两个应用，6.6%涉及三个，0.9%涉及四个及以上。

六个具体的典型案例被用来展示这一谱系的两端。GIMP图像编辑任务是最简洁的一类，涉及7个屏幕、35个操作、线性度完美的1.0、零循环——AI从头到尾顺序完成每个子步骤，完全没有回头路。另一个极端是多PDF数据提取任务，需要反复在文件管理器、文档查看器和电子表格之间穿梭，产生了10个循环、13次回退、线性度仅0.33、共9次应用切换，状态转移效率（每步访问的唯一屏幕数比例）低至0.17。研究团队发现，轨迹的复杂程度并非简单由涉及的应用数量决定——有些四应用任务可以保持高度线性（如通过终端指令完成文件转换），而另一些同样涉及四个应用的任务则可能产生极度密集的交叉循环图（如需要反复核对多个PDF后汇总到一张表格）。决定复杂度的关键，是应用之间的协作模式，而非应用的数量本身。

十一、复杂度感知数据增强：向稀有任务学习

基于上述分析，研究团队发现训练集中的应用组合分布严重长尾化：单应用任务（尤其是LO Impress、LO Calc和Chrome）独占了大量份额，而复杂的多应用协作任务极为罕见。为了应对这一问题，他们设计了一个两阶段的增强方法。

首先，在11.18万条轨迹池中，找出应用组合出现次数不超过3次的轨迹，共识别出2065条"稀有轨迹"。然后，把这些稀有轨迹的任务目标和轨迹摘要作为少样本示例，喂给任务合成流水线，引导它专门生成针对这类罕见多应用协作模式的新任务。按照这种方法收集到的353条新轨迹，构成了"ProCUA + 稀有应用合成"子集。

与原始训练集相比，这个子集在几乎所有复杂度指标上都有明显提升：每条轨迹平均涉及的应用数从2.0增加到3.3，应用切换次数从2.0增加到4.8，访问的屏幕数从6.4增加到8.6，总操作步数从26.6增加到35.2。与此同时，线性度只是轻微下降（从0.84到0.80），循环数则几乎持平（2.8 vs 2.6），说明复杂度的提升主要体现在应用跨度扩大，而非盲目的兜圈子。在应用组合分布上，原本几乎不存在的Chrome+LibreOffice Calc、文件管理器+LibreOffice Writer、桌面+VS Code等组合，在新子集中的占比分别达到0.6%到2.0%，已经从可以忽略的边角料升级为有代表性的类别。

说到底，ProCUA-SFT讲的是一个关于"质量比数量重要"的故事。2.25万条真人精心录制的示范，败给了9.3万条AI自产自销的合成轨迹。胜负的关键不在于谁更费力气，而在于谁更聪明地解决了三个核心问题：如何保证每道练习题都真实可解，如何确保练习题足够难且足够多样，以及如何让"出题者"和"解题者"的认知边界保持一致。

这项研究对未来的意义不仅限于"让AI更好地帮我们点击鼠标"。更深远的影响在于：它证明了一条可以持续扩展的合成数据生产路径——随着VLM的能力持续提升，可以直接用更强的新模型替换Kimi-K2.5，整个流水线的数据质量随之水涨船高，无需再依赖昂贵的人工标注。研究团队也明确表示，计划在更强的开源模型、更多操作系统平台和外部奖励模型可用时，持续迭代ProCUA-SFT。

不由得引人思考：如果AI的学习速度继续以这种方式加速，我们距离一个"只需要说出你想做什么、AI就能自主帮你完成任何电脑操作"的时代，到底还有多远？

想深入了解ProCUA-SFT的所有技术细节，可以通过arXiv编号2606.17321v1检索完整论文，数据集本身也已在Hugging Face平台以ProCUA-SFT为名公开发布。

---

Q&A

Q1：ProCUA-SFT是什么，它和普通训练数据有什么不同？

A：ProCUA-SFT是NVIDIA与华盛顿大学共同构建的电脑操控智能体训练数据集，包含310万条操作步骤样本。与普通人工标注数据不同，它完全由AI自动生成，且在生成每个任务前会通过"二值条件核查"机制确认任务在当前桌面环境下确实可以完成，避免了合成任务"无中生有"的问题。此外，数据来源包含真实复杂的电子表格和演示文稿文件，训练出的AI能处理更接近真实工作场景的复杂任务。

Q2：AgentNet的人工标注数据为何让模型越学越差？

A：AgentNet的22.5K条人工示范在用于继续训练时导致模型成功率从26.3%跌至8-10%，主要因为三点：任务类型过于单一，几乎全是单应用的简单操作，平均步数只有17步；缺乏跨应用协作任务，而OSWorld测试恰好偏重考查这类能力；众包收集的标注质量参差不齐，噪声干扰了模型原有的推理能力。新学的内容不仅没有强化旧能力，反而覆盖和破坏了它，这在机器学习中被称为"负迁移"。

Q3：ProCUA-SFT数据集是否可以公开获取？

A：可以。ProCUA-SFT数据集已在Hugging Face平台以"ProCUA-SFT"为名公开发布，任何人均可下载使用。需要注意的是，数据集中引用的SpreadsheetBench电子表格文件本身未被重新分发，仅用于构建桌面初始状态；Zenodo10K演示文稿则采用CC-BY 4.0协议，可自由使用。