小米研究院推出革命性GUI自动化框架：让AI像人一样"眨眼-思考-执行"操作界面

这项由小米公司MiLM Plus团队的张绍杰、张若增、付培等研究人员共同开展的突破性研究，发表于2025年1月的arXiv预印本平台。该研究提出了名为BTL-UI（Blink-Think-Link）的全新GUI智能代理框架，感兴趣的读者可以通过arXiv:2509.15566v1访问完整论文，或访问项目地址https://github.com/xiaomi-research/btl-ui了解更多技术细节。

近年来，人工智能在各个领域都取得了惊人进展，但在一个看似简单却极其重要的任务上却始终存在挑战：让AI像人类一样自然地操作电脑和手机界面。想象一下，如果你的智能助手能够真正理解你的指令，然后像你一样熟练地点击、滑动、输入文字来完成各种任务，那将是多么便利的体验。然而，现实中的AI代理在操作图形用户界面时，往往表现得僵硬笨拙，缺乏人类那种直觉性的交互流畅感。

小米研究团队敏锐地观察到了这个问题的核心所在。他们发现，当前的AI系统在处理界面操作时，思维模式与人类存在根本性差异。人类在看到一个界面时，会本能地快速扫视寻找相关元素，然后在大脑中进行逻辑推理，最后精准地执行操作动作。这个过程看似简单，实际上包含了复杂的认知机制。而现有的AI系统要么过分依赖大量标注数据进行监督学习，要么采用结果导向的强化学习方法，都无法真正模拟人类这种自然的认知流程。

正是基于这一洞察，研究团队提出了颠覆性的"眨眼-思考-执行"（Blink-Think-Link，简称BTL）框架。这个框架巧妙地将人类的界面操作过程分解为三个生物学上合理的阶段。首先是"眨眼"阶段，AI会像人类进行眼球快速扫视运动一样，迅速定位屏幕上与任务相关的区域。接着是"思考"阶段，系统进行高层次的推理和决策制定，就如同人类大脑中的认知规划过程。最后是"执行"阶段，生成精确的可执行命令，模拟人类精细的动作控制机制。

这种仿生学的设计理念并非空中楼阁。研究团队深入研究了认知科学文献，发现人类在进行GUI交互时确实遵循着这样的认知模式。眼球的跳跃性扫视运动帮助我们快速锁定目标区域，大脑的多模态信息整合能力让我们能够理解复杂的界面布局和任务要求，而精细的运动控制系统则确保我们能够准确地完成各种操作动作。

为了让这个理论框架真正落地，研究团队开发了两项关键技术创新。第一项是自动化的"眨眼数据生成"流水线。传统的AI训练需要大量人工标注的数据，成本高昂且容易出错。而这个新系统能够自动分析屏幕截图，识别出与用户指令最相关的界面元素，并为这些区域生成高质量的注意力标注。这就像给AI装上了一双会自动聚焦的眼睛，让它能够像人类一样快速找到重点区域。

第二项创新是全新的"BTL奖励机制"。以往的强化学习系统往往只关注最终结果是否正确，就像只看考试成绩而不关心学习过程一样。而BTL奖励机制不仅评估最终执行效果，还对中间的每个认知阶段进行细致评估。它会检查AI是否正确识别了相关界面元素，是否进行了合理的逻辑推理，以及是否生成了准确的操作指令。这种过程导向的奖励设计让AI能够学到更加细致和人性化的操作技巧。

基于这个创新框架，研究团队开发了BTL-UI智能代理模型。这个模型在多个权威基准测试中都取得了令人瞩目的成果。在ScreenSpot系列测试中，BTL-UI的平均准确率达到了87.2%，显著超越了之前的最佳模型。更重要的是，在复杂的多步骤任务中，比如AndroidControl和GUI-Odyssey这样的真实环境测试，BTL-UI展现出了卓越的规划和执行能力，成功率分别达到了69.2%和45.2%。

这些数字背后代表的是AI在理解和操作复杂界面方面的重大突破。以往的AI系统在面对多步骤任务时，经常会出现点击错误位置、过早终止任务或者无法适应界面变化等问题。而BTL-UI通过模拟人类的认知过程，能够更加鲁棒地处理各种复杂情况，展现出接近人类水平的界面操作能力。

一、仿生认知：从人类操作模式中汲取灵感

要理解BTL框架的精妙之处，我们需要先了解人类是如何与图形界面进行交互的。认知科学研究表明，当我们面对一个新的应用界面时，大脑会自动启动一套精密的信息处理机制。

首先发生的是视觉注意力的快速分配过程。人类的眼球会进行被称为"跳跃性扫视"的快速运动，在短短几百毫秒内扫描整个屏幕，寻找与当前任务最相关的视觉元素。这个过程极其高效，我们几乎感觉不到它的存在，但它却是成功完成界面操作的关键第一步。研究发现，熟练的用户能够在不到一秒的时间内准确定位所需的按钮、菜单或输入框，即使在复杂的界面布局中也是如此。

紧接着是高层次的认知推理过程。大脑会整合来自视觉系统的信息，结合任务目标和以往经验，制定出详细的操作策略。这个阶段涉及复杂的多模态信息融合，包括文本理解、图标识别、空间关系分析等多个认知层面。比如，当我们想要在音乐应用中搜索某首歌曲时，大脑会自动识别搜索图标的位置，理解当前界面的功能结构，并规划出"点击搜索-输入歌名-选择结果"这样的操作序列。

最后是精确的运动执行阶段。人类的运动控制系统会将抽象的操作意图转化为具体的肌肉动作，实现精准的点击、滑动或输入操作。这个过程看似简单，实际上需要复杂的手眼协调和实时反馈调节。即使是最基本的点击动作，也需要精确计算目标位置、调节手指力度、控制接触时间等多个参数。

传统的AI界面代理通常采用端到端的学习方式，试图直接从屏幕截图预测操作指令，但这种方法忽略了人类认知过程的层次性结构。就像试图让机器人直接模仿人类走路的表面动作，而不理解平衡、协调、预判等内在机制一样，这种方法很难达到人类水平的灵活性和鲁棒性。

BTL框架的革命性在于它明确地将这三个认知阶段分离并建模。在"眨眼"阶段，系统会像人类进行眼球扫视一样，快速分析整个屏幕并提取出最相关的感兴趣区域。这些区域会以结构化的方式表示，包含位置信息、元素类型、交互性质等关键属性。系统可以选择0到5个最相关的区域，甚至在某些情况下选择空集，比如当当前屏幕没有与任务直接相关的元素时。

"思考"阶段则专注于高层次的推理和规划。系统会基于提取的感兴趣区域、用户指令和历史交互记录，进行逻辑推理和决策制定。这个过程类似于人类的内心独白，会明确地表达推理步骤、考虑的选项以及选择的理由。比如，系统可能会推理："用户想要更改视频质量设置，这通常在视频播放器的设置菜单中，我需要寻找齿轮图标或三点菜单。"

"执行"阶段负责将抽象的操作意图转化为具体的可执行指令。这包括确定精确的操作类型（点击、滑动、输入等）和相应的参数（坐标位置、输入文本、滑动方向等）。系统会生成结构化的JSON格式指令，确保每个操作都有明确的执行路径和预期效果。

这种三阶段分解的好处是显而易见的。首先，它让AI系统的决策过程变得更加透明和可解释。我们可以清楚地看到系统关注了哪些界面元素，进行了什么样的推理，以及为什么选择了特定的操作。其次，这种结构化的方法使得训练过程更加稳定和高效，因为每个阶段都有明确的优化目标和评估标准。最后，这种仿生设计让AI系统能够更好地处理复杂和新颖的界面情况，因为它模仿了人类已经进化出的高效认知策略。

二、技术创新：自动化数据生成与过程导向奖励

将理论框架转化为实际可用的AI系统需要解决一系列技术挑战。研究团队在两个关键技术方面实现了重要突破，这些创新使得BTL框架能够真正落地并展现出卓越性能。

第一个重大技术创新是自动化的眨眼数据生成流水线。在传统的AI训练中，为了让系统学会识别界面元素，需要大量人工标注的数据。这就像教小孩认识物品时需要一遍遍地指着苹果说"这是苹果"一样，费时费力且容易出错。而且，不同的标注者可能对同一个界面元素有不同的理解，导致数据质量参差不齐。

BTL-UI的自动化数据生成系统彻底改变了这种状况。这个系统采用两阶段处理流程，就像一个经验丰富的界面分析师在工作一样。第一阶段使用专门的解析模型对原始屏幕截图进行全面分析，提取出所有可见的UI元素，包括按钮、图标、文本框、菜单等各种界面组件。每个元素都会被详细标注，包括其边界框坐标、元素类型、语义描述以及是否可交互等属性。这个过程就像给界面拍了一张X光片，让系统能够"看透"复杂界面的内部结构。

第二阶段则更加智能，使用先进的视觉语言模型来模拟人类的注意力机制。系统会根据用户指令和交互历史，从第一阶段提取的所有元素中筛选出最相关的感兴趣区域。这个过程类似于一个经验丰富的用户在浏览界面时的视觉扫描过程，会考虑元素的视觉显著性、语义相关性以及任务匹配度等多个因素。

比如，当用户指令是"在Vimeo应用中将视频质量调整为高清"时，系统会自动识别出设置图标、质量选项菜单、播放控制栏等相关元素，而忽略那些与任务无关的装饰性元素或广告内容。这种智能筛选能力让系统能够像人类一样快速聚焦到关键信息上，大大提高了处理效率。

更重要的是，这个数据生成流水线能够自适应地调整输出结果。在某些情况下，当前屏幕可能不包含与任务直接相关的元素，比如需要通过滚动或返回操作才能找到目标功能。在这种情况下，系统会智能地输出空的感兴趣区域集合，表示需要进行导航操作。这种灵活性让BTL框架能够处理各种复杂的多步骤任务场景。

第二个重大技术创新是全新的BTL奖励机制设计。传统的强化学习方法通常采用结果导向的奖励策略，就像只看考试成绩而不关心学习过程的老师一样。这种方法虽然能够在某些简单任务上取得不错效果，但在复杂的界面操作任务中却存在明显局限性。

BTL奖励机制采用了过程与结果相结合的综合评估策略，包含三个相互协调的组件。第一个是双重格式奖励，确保系统输出既符合预定义的结构模板，又满足内容的格式要求。这就像检查作文时既要看文章结构是否完整，又要看语法和拼写是否正确一样。系统会验证眨眼阶段输出的XML格式是否正确，思考阶段的推理过程是否清晰，以及执行阶段的JSON指令是否符合规范。

第二个是眨眼奖励，专门评估系统在视觉注意力分配方面的表现。这个组件会将系统预测的感兴趣区域与自动生成的标准答案进行比较，使用基于交并比的匹配算法来计算相似度。有趣的是，这个奖励机制还考虑了界面元素的优先级，对于更重要的界面元素给予更高的奖励权重。比如，正确识别主要操作按钮会比识别装饰性图标获得更多奖励。

第三个是执行奖励，评估最终生成的操作指令的准确性。与传统方法不同，BTL采用了严格的全匹配标准，只有当操作类型和所有参数都完全正确时才给予奖励。这种"要么全对，要么全错"的策略乍看严苛，但实际上更符合界面操作的实际需求。毕竟，点击错误位置或输入错误文本都会导致任务失败，部分正确在这里没有实际意义。

这种多层次的奖励设计带来了显著的训练效果提升。系统不仅学会了生成正确的最终输出，更重要的是学会了正确的思维过程。通过对每个认知阶段的细致监督，BTL-UI逐渐掌握了类似人类的界面理解和操作策略，在面对新颖界面时也能表现出良好的泛化能力。

三、模型架构：深度学习与认知科学的完美结合

BTL-UI的成功不仅归功于创新的框架设计，更得益于其精巧的模型架构和训练策略。研究团队基于强大的Qwen2.5-VL视觉语言模型构建了完整的训练和优化流程，将认知科学理论与最新的深度学习技术完美融合。

整个系统的核心是一个精心设计的马尔可夫决策过程框架。在这个框架中，AI代理需要在每个时间步骤接收当前的屏幕状态、用户指令和历史交互记录，然后输出结构化的BTL响应。这个过程可以形式化地表示为一个函数映射，将输入的多模态信息转换为包含视觉注意力区域、推理过程和执行指令的综合输出。

模型的训练采用了先进的群组相对位置优化算法（GRPO）。这种方法的巧妙之处在于它不需要额外的奖励模型或价值函数网络，而是通过比较同一组候选输出的相对质量来进行优化。具体来说，系统会为每个训练样本生成多个不同的候选响应，然后使用BTL奖励机制对这些候选进行评分和排序。那些获得较高奖励的响应会被鼓励，而质量较差的响应则会被抑制。

这种相对比较的策略比传统的绝对评分方法更加稳定和高效。就像体育比赛中的相对排名比绝对分数更能反映真实水平一样，GRPO算法能够更好地捕捉不同响应之间的细微差别，避免了奖励分数缩放等技术问题。同时，这种方法显著降低了内存需求，使得大规模模型的训练变得更加可行。

在具体的训练过程中，研究团队采用了精心设计的混合数据策略。训练数据包含了界面理解和多步规划两大类任务，涵盖了从简单的元素定位到复杂的多应用交互等各种场景。数据来源包括ShowUI-Desktop、AndroidControl、GUI-Odyssey等多个权威数据集，确保了模型能够处理不同平台和应用类型的界面操作任务。

为了充分发挥BTL框架的优势，研究团队还开发了专门的优势计算和参数更新机制。在每个训练批次中，系统会计算候选响应的相对优势值，这个值反映了该响应相对于平均水平的质量差异。然后使用策略梯度方法更新模型参数，鼓励生成高质量响应的行为模式，同时通过KL散度约束防止模型偏离初始分布过远。

模型的推理过程也经过了精心优化。在接收到用户指令和屏幕截图后，系统首先激活眨眼模块，快速扫描并识别相关的界面元素。这个过程使用了高效的视觉注意力机制，能够在不到一秒的时间内完成复杂界面的分析。然后思考模块会整合视觉信息和任务需求，生成详细的推理过程和操作策略。最后执行模块将抽象的操作意图转化为具体的可执行指令。

整个推理流程不仅高效，而且具有很强的可解释性。每个阶段的输出都有明确的语义含义，用户和开发者可以清楚地理解系统的决策过程。这种透明性对于构建可信的AI系统至关重要，特别是在需要处理敏感或关键任务的应用场景中。

四、实验验证：全面超越现有最佳方法

为了验证BTL-UI的有效性，研究团队进行了全面而严格的实验评估。实验涵盖了界面理解、低级规划和高级推理等多个维度，使用了多个权威基准数据集，结果显示BTL-UI在所有关键指标上都取得了显著的性能提升。

在界面元素定位能力的测试中，BTL-UI展现出了卓越的表现。在原始ScreenSpot数据集上，BTL-UI-7B模型达到了87.2%的平均准确率，明显超过了基础模型Qwen2.5-VL的84.8%和监督微调模型Aria-UI的82.4%。更令人印象深刻的是，在修正版的ScreenSpot-V2数据集上，BTL-UI的性能进一步提升到89.1%，建立了新的业界标准。

这些数字背后反映的是BTL框架在模拟人类视觉注意力机制方面的成功。通过眨眼阶段的区域提取和注意力引导，系统能够像人类一样快速聚焦到与任务相关的界面元素上，即使在复杂多变的视觉布局中也能保持稳定的性能。特别值得注意的是，即使是参数量较小的3B版本也能达到极具竞争力的结果，这表明BTL框架具有很高的样本效率和泛化能力。

在需要精确步骤控制的低级规划任务中，BTL-UI同样表现出色。在AndroidControl低级任务测试中，BTL-UI-3B的步骤成功率达到了84.8%，大幅超越了GUI-R1-3B的64.4%和最佳监督学习模型SeeClick的75.0%。这种提升反映了BTL框架在处理精细界面交互方面的优势，系统能够更好地理解界面状态变化，减少了常见的错误点击和任务提前终止问题。

BTL-UI-7B在AndroidControl低级任务中的表现更加惊艳，在所有评估指标上都达到了最佳水平。操作类型预测准确率达到96.8%，界面元素定位准确率达到88.5%，步骤成功率高达88.0%。这些结果证明了BTL框架不仅能够正确理解用户意图，还能够精确执行复杂的多步骤操作序列。

在最具挑战性的高级规划任务中，BTL-UI展现出了卓越的长期推理能力。在AndroidControl高级任务和GUI-Odyssey测试中，BTL-UI-7B分别达到了69.2%和45.2%的步骤成功率，显著超越了GUI-R1-7B的51.7%和35.2%。这些任务要求系统不仅要理解复杂的自然语言指令，还要在多个应用和界面之间进行导航，执行涉及多个子目标的复杂任务序列。

高级规划任务的成功充分体现了BTL框架三阶段设计的威力。眨眼阶段的注意力引导帮助系统在每个决策点都能准确定位相关元素，有效过滤了视觉干扰信息。思考阶段的结构化推理提供了清晰的逻辑脚手架，支持复杂的抽象目标分解。执行阶段的精确控制确保了每个操作步骤的准确执行，避免了累积错误的产生。

为了深入理解各个组件的贡献，研究团队还进行了详细的消融实验。结果显示，从纯监督学习切换到强化微调能够带来显著的性能提升，步骤成功率从60.6%提升到65.6%。加入自动生成的眨眼数据后，性能进一步提升到68.1%。而完整的BTL奖励机制则将最终性能推高到69.2%，证明了每个组件都发挥了重要作用。

特别有趣的是对眨眼阶段感兴趣区域数量的分析。实验发现，随着区域数量从1个增加到5个，系统性能稳步提升，但在超过5个后开始趋于饱和。这个发现与人类视觉注意力的认知研究结果高度吻合，表明BTL框架确实成功地模拟了人类的认知机制。

五、技术细节：从理论到实践的完整实现

BTL-UI的成功实现涉及大量精巧的技术细节设计，这些看似微小的创新累积起来构成了整个系统的强大性能。研究团队在系统提示设计、数据处理流程、训练策略优化等多个方面都做出了重要贡献。

系统提示的设计是一个关键的技术环节。BTL-UI使用了精心设计的提示模板来引导模型生成符合三阶段框架的结构化输出。这个提示不仅定义了输出格式，还明确了每个阶段的职责和期望。比如，系统会明确告诉模型需要提取0到5个最相关的界面元素，并且可以在没有相关元素时输出空集。这种灵活性让系统能够处理各种复杂的界面情况，包括需要滚动或导航的场景。

在动作空间的设计上，研究团队统一了不同数据集的动作定义，解决了多任务学习中常见的动作空间冲突问题。系统支持六种基本操作类型：返回、主页、点击、输入、滑动和长按。每种操作都有明确的格式定义和使用场景，确保了模型输出的一致性和可执行性。

数据处理流程也经过了精心优化。研究团队发现，简单地混合不同来源的数据往往会导致性能下降，因为不同数据集可能有不同的标注风格和质量标准。为了解决这个问题，他们开发了智能的数据融合策略，根据每个数据集的特点调整采样权重和处理方式。

在眨眼数据的生成过程中，系统采用了两阶段的质量控制机制。第一阶段的解析器会提取所有可见的界面元素，包括详细的属性信息。第二阶段的过滤器则使用先进的视觉语言模型来评估每个元素与任务的相关性，只保留最有用的信息。这种分层处理方式既保证了数据的完整性，又避免了信息过载。

训练过程中的超参数调优也值得关注。研究团队通过大量实验确定了最优的学习率、批次大小、KL散度权重等关键参数。特别是KL散度约束的设计，既要保证模型能够学习到新的行为模式，又要避免偏离初始分布过远导致的训练不稳定问题。

模型的推理优化同样重要。BTL-UI采用了高效的注意力机制和计算图优化技术，确保在保持高精度的同时实现快速响应。系统的推理时间通常在几秒以内，满足了实际应用的实时性要求。

在模型的可解释性方面，BTL框架提供了多层次的透明度。用户不仅可以看到最终的操作指令，还可以了解系统关注了哪些界面元素，进行了什么样的推理过程。这种可解释性对于调试和优化系统行为极其重要，也增强了用户对AI系统的信任度。

为了确保实验结果的可重现性，研究团队在所有关键环节都设置了固定的随机种子，并详细记录了训练过程中的各种参数设置。他们还开源了完整的代码和数据处理流水线，让其他研究者能够验证和扩展这项工作。

六、应用前景：重新定义人机交互的未来

BTL-UI的成功不仅仅是学术研究的突破，更预示着人机交互领域即将迎来的革命性变化。这项技术的应用前景极为广阔，从个人数字助手到企业自动化解决方案，都将因为这种更加自然和智能的界面操作能力而受益匪浅。

在个人用户层面，BTL-UI技术将使智能助手真正变得"智能"起来。目前的语音助手虽然能够理解语音指令，但在执行复杂的应用操作时往往力不从心。而集成了BTL技术的智能助手将能够像人类助理一样，熟练地操作各种应用程序完成复杂任务。用户只需要说出自然语言指令，比如"帮我在购物应用中找到评分最高的无线耳机，价格在500元以下，然后加入购物车"，助手就能够自动完成整个购买流程的前期准备工作。

对于有特殊需求的用户群体，BTL技术的价值更加突出。视觉障碍用户可以通过语音指令让AI代理帮助他们操作复杂的图形界面，而行动不便的用户则可以用最小的操作成本完成原本需要大量手动操作的任务。这种技术的普及将显著提高数字设备的可访问性，让更多人能够享受到现代科技的便利。

在企业应用场景中，BTL技术将催生新一代的流程自动化解决方案。传统的机器人流程自动化（RPA）工具通常依赖于脆弱的界面元素定位机制，一旦应用界面发生变化就容易失效。而基于BTL框架的自动化系统具有类似人类的适应能力，能够理解界面的语义结构而不仅仅是依赖固定的坐标位置。这意味着企业可以部署更加稳定和灵活的自动化流程，大大降低维护成本。

客户服务领域也将迎来重大变革。配备BTL技术的虚拟客服代理将能够直接在客户的设备上演示操作步骤，而不仅仅是提供文字或语音指导。当客户遇到应用使用问题时，AI代理可以接管屏幕操作，实时展示正确的操作方法，或者直接帮助客户完成复杂的设置配置任务。

在软件测试和质量保证领域，BTL技术将大大提高自动化测试的覆盖率和有效性。传统的UI自动化测试通常需要编写大量的测试脚本，而且容易因为界面变化而失效。基于BTL的测试系统可以使用自然语言描述测试场景，然后自动执行相应的操作序列，就像人类测试员一样灵活地探索应用功能。

教育培训领域同样充满机遇。BTL技术可以用于开发智能的软件操作导师，为用户提供个性化的应用使用培训。这种AI导师不仅能够演示正确的操作方法，还能够根据用户的学习进度和错误模式调整教学策略，提供更加有效的学习体验。

在研究和开发层面，BTL框架为GUI代理技术的进一步发展提供了坚实的理论基础和技术路径。研究团队已经证明了认知科学启发的方法在这个领域的巨大潜力，未来可以期待更多基于人类认知机制的AI系统设计。比如，可以进一步研究人类的错误恢复机制，让AI系统在操作失败时能够像人类一样快速调整策略。

另一个有趣的发展方向是多用户协作场景的支持。人类在协作使用应用时会进行复杂的协调和沟通，如果能够将这种协作机制融入AI系统，将开创全新的人机协作模式。用户和AI代理可以像团队伙伴一样共同完成复杂的多步骤任务，充分发挥各自的优势。

当然，BTL技术的广泛应用也需要考虑安全性和隐私保护等重要问题。由于AI代理需要访问和操作各种应用程序，必须建立完善的权限管理和操作审计机制，确保用户数据的安全和隐私。研究团队已经意识到这些挑战，并在系统设计中预留了相应的安全接口和监控机制。

总的来说，BTL-UI技术代表了人机交互领域的一个重要里程碑。它不仅解决了当前AI界面代理的技术瓶颈，更为构建真正智能和自然的数字助手指明了方向。随着这项技术的不断完善和普及，我们有理由相信，未来的人机交互将变得更加直观、高效和人性化。

BTL框架的成功证明了跨学科研究的巨大价值。通过将认知科学的深刻洞察与最新的人工智能技术相结合，研究团队创造出了超越传统方法的创新解决方案。这种研究范式不仅适用于GUI代理领域，也为其他需要模拟人类认知能力的AI应用提供了重要启示。我们可以期待，在不久的将来，会有更多基于人类认知机制的AI系统问世，为人类社会带来更大的价值和便利。

Q&A

Q1：BTL-UI的"眨眼-思考-执行"三阶段是如何工作的？

A：BTL-UI将人类操作界面的过程分解为三个步骤。"眨眼"阶段像人眼快速扫视一样，迅速定位屏幕上与任务相关的区域；"思考"阶段进行逻辑推理和决策规划，类似人脑的认知过程；"执行"阶段生成精确的操作指令，如点击坐标或输入文本。这种仿生设计让AI更接近人类的自然操作方式。

Q2：BTL-UI比传统GUI自动化工具有什么优势？

A：传统工具通常依赖固定的界面元素位置，界面一变化就容易失效。BTL-UI具有类似人类的理解和适应能力，能够理解界面的语义结构而不仅仅依赖坐标位置。实验显示，BTL-UI在复杂任务中的成功率达到69.2%，远超其他方法的51.7%，而且具有更强的泛化能力和错误恢复能力。

Q3：BTL-UI技术什么时候能够普及到日常应用中？

A：目前BTL-UI还处于研究阶段，小米团队已经开源了相关代码供研究使用。要实现商业化普及，还需要解决安全性、隐私保护、计算资源优化等工程化问题。预计在未来2-3年内，我们可能会看到基于类似技术的智能助手产品，但大规模普及可能还需要更长时间。