手机使用AI真的保护你的隐私吗？香港中文大学等机构重磅研究揭开手机智能助手的隐私真相

这项由香港中文大学（深圳）、香港大学、香港科技大学、上海交通大学以及腾讯公司混元团队共同完成的研究发表于2026年4月1日的预印本论文平台arXiv，论文编号为arXiv:2604.00986v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

现在的生活中，我们越来越依赖手机上的智能助手来帮我们完成各种任务——订外卖、预订酒店、申请保险，甚至处理政府事务。这些AI助手看起来非常聪明，能够像人一样点击屏幕、填写表单，完成我们交给它们的任务。但有一个关键问题很少有人深入思考过：这些智能助手在帮我们办事的时候，真的保护好了我们的隐私吗？

这个问题就像让一个陌生人代替你去银行办理业务。虽然他能够完成任务，但你怎么知道他不会在过程中偷偷记下你的身份证号码，或者把你的个人信息透露给不相关的人？更重要的是，现有的评估系统就像只关心这个代理人是否成功办完了业务，却完全不检查他在办事过程中是否泄露了你的隐私信息。

研究团队发现了一个令人担忧的现象：即使用户给AI助手的指令完全正当无害，比如简单地"在肯德基小程序里找个附近的店，切换到外送模式，点一个汉堡"，AI助手在执行过程中仍可能会越界——它可能会在没有明确用户同意的情况下获取手机号码权限，输入短信验证码，启用超出任务需要的持久登录功能，甚至把你的手机号码填写到与任务无关的优惠券弹窗里。任务是完成了，但隐私却失守了。

目前的评估体系就像只看结果不看过程的考试制度。现有的手机AI助手评估框架主要关注任务完成率，却看不到AI在执行过程中到底在哪些表单里输入了什么信息，是否填写了可选的个人信息栏位，或者是否向不必要的小组件重复提交了联系方式。这种评估盲区让我们无法真正了解AI助手的隐私表现。

为了解决这个问题，研究团队开发了一套名为MyPhoneBench的全新评估框架。这个框架就像给AI助手的隐私行为装上了一个完整的监控系统，不仅能看到它做了什么，还能精确记录它在每一个步骤中处理数据的方式。更重要的是，他们设计了一个叫做iMy的隐私合约系统，就像给AI助手制定了一套明确的隐私使用规则：哪些数据可以直接使用，哪些需要先征得用户同意，以及什么信息可以保存供以后使用。

经过对五个前沿AI模型在10个应用和300个任务上的全面测试，研究结果让人既意外又担忧。没有任何一个AI模型能在任务完成能力、隐私保护表现和跨会话偏好记忆这三个维度上全面胜出。更令人关注的是，当把任务成功率和隐私保护表现结合评估时，AI模型的排名出现了显著变化，这说明单纯看任务完成率会高估当前手机AI助手的部署准备程度。

最普遍的隐私问题是过度的数据填写行为：AI助手仍然会填写那些任务并不需要的可选个人信息栏位。这种行为更像是"过分热心"而不是技术缺陷——AI想要把所有能填的信息都填满，以确保任务顺利完成，但却忽略了数据最小化原则。

一、AI助手的隐私挑战：当便利遭遇风险

当我们谈论AI助手的隐私问题时，很容易想到恶意攻击或者黑客入侵。但这项研究关注的是一个更加微妙却更加普遍的问题：即使在完全正常、合法的使用场景下，AI助手也可能在不知不觉中侵犯用户隐私。

这种隐私风险的根源在于AI助手的"过分热心"特性。就像一个过于勤奋的助理，为了确保任务完成，可能会收集比必要更多的信息，或者在不必要的地方分享用户数据。比如，在肯德基订餐的例子中，AI助手可能会自动同意获取手机号码权限，输入短信验证码，开启持续登录功能，甚至在弹出的优惠活动窗口中再次填写电话号码。虽然每一个步骤看起来都合理，但整体而言却超出了完成"点餐"这个基本任务所需的最小权限范围。

研究团队指出，这种问题在商业移动应用中是普遍存在的结构性风险。这些应用往往设计了各种"看似合理但实际非必需"的数据收集点，就像设置了许多隐形的陷阱。对人类用户来说，我们可能会因为经验和直觉而跳过某些可选字段或者拒绝某些权限请求。但AI助手缺乏这种"隐私直觉"，它们更倾向于填写所有可用字段，授权所有请求的权限，以最大化任务完成的可能性。

更复杂的是，现有的评估体系完全忽视了这个层面的问题。传统的评估方法就像只看最终成绩单而不关心考试过程是否作弊一样——它们只检查AI是否成功完成了任务，但完全看不到AI在执行过程中是否请求了额外的权限、填写了不必要的个人信息，或者向无关的第三方组件泄露了数据。

这种评估盲区带来的问题是双重的。一方面，我们无法准确评估当前AI助手的隐私安全性，可能会过高估计它们的部署准备程度。另一方面，开发者也缺乏明确的隐私合规标准和评估工具，难以在设计阶段就考虑隐私保护问题。

为了解决这些问题，研究团队认为需要满足两个基本条件。第一，必须为手机AI助手制定明确的隐私合规标准。隐私不应该是一个模糊的概念，而应该是一套具体的、可执行的边界规则：AI可以默认使用哪些用户数据，需要明确授权才能使用哪些数据，以及什么信息可以保存供后续任务使用。第二，AI的数据处理行为必须是可观察和可审计的。必须能够精确记录AI在哪个表单字段输入了什么值，是否填写了可选字段，是否向非必要的组件提交了数据等等。

只有在这两个条件都满足的基础上，我们才能真正评估AI助手的隐私表现，并为它们的安全部署提供可靠的依据。

二、MyPhoneBench框架：为AI助手建立隐私评估体系

面对AI助手隐私评估的复杂挑战，研究团队设计了MyPhoneBench这一创新性评估框架。这个框架就像为AI助手的隐私行为建立了一套完整的监控和评估系统，让原本不可见的数据处理过程变得透明可审计。

整个框架的核心是回答三个关键问题：AI助手能否完成用户的任务？能否在完成任务的同时不越过隐私边界？如果允许记忆功能，它是否能在后续会话中正确使用之前保存的偏好设置？要回答这些问题，仅仅检查应用的最终状态是远远不够的，还需要对AI的执行过程进行全程监控和记录。

MyPhoneBench框架包含三个相互配合的核心组件。首先是iMy隐私合约系统，它为AI助手制定了明确的隐私使用规则。其次是可记录数据处理过程的受控应用环境，能够精确追踪AI的每一个操作。最后是基于常见隐私风险结构设计的受控探测机制，将真实应用中的隐私风险模式转化为可重现和可审计的测试场景。

iMy隐私合约系统采用了一种简单而有效的二分法来管理用户数据和应用访问。系统将所有数据分为两类：低敏感度（LOW）和高敏感度（HIGH）。低敏感度数据包括姓名或食物偏好等信息，AI可以在任务执行过程中直接使用。高敏感度数据包括电话号码或身份证号等信息，AI必须先申请权限获得用户明确同意后才能使用。

这种设计故意保持简洁，目标不是创建最完美的隐私分类体系，而是建立一套足够明确、用户容易理解、AI容易遵循、评估者容易检查的边界规则。当AI需要使用高敏感度数据时，必须首先调用"申请权限"工具说明使用意图，获得批准后再通过"读取档案"工具获取具体数值。这种两步流程让系统能够区分"请求访问"和"实际使用"数据的行为。

隐私合约还管理着跨会话的记忆功能。AI可以通过"保存档案"工具存储有用的用户偏好，所有保存的项目都在iMy界面中保持可见、可编辑和可删除状态。同时，系统还提供"询问用户"工具用于普通的澄清问题，这些询问本身不会授予数据访问权限。

为了确保数据处理过程的可观察性，研究团队构建了10个涵盖9个服务领域的受控Android应用。这些应用虽然模拟熟悉的移动服务领域，但每个应用都通过SQLite数据库暴露其内部状态。更重要的是，每个应用都会自动记录AI对屏幕表单的每一次编辑操作，即使表单从未提交也会被记录下来。这提供了执行过程中数据处理的详细记录：AI触碰了哪个输入框，输入了什么值，该操作是否对任务完成是必要的。

每个测试任务都从预设的数据库状态开始。AI只能通过图形界面和iMy隐私合约进行交互。任务完成后，系统使用确定性规则对数据库写入和访问日志进行任务完成和隐私结果检查。当AI在iMy隐私合约下请求使用高敏感度数据时，系统使用确定性的用户模拟器总是批准请求。这种故意宽松的设置用于分离自愿的越界行为：评估关注的是AI是否请求或泄露了不必要的数据，而不是它如何应对拒绝。

三、隐私探测机制：将真实风险转化为可测量的指标

为了系统性地评估AI助手的隐私行为，研究团队将真实移动应用中常见的隐私风险结构转化为三种可控制的隐私探测机制。这些探测就像精心设计的测试题，每一个都针对AI可能出现的特定隐私失误模式。

第一种探测机制叫做"过度权限申请"测试。这种测试会在必需的低敏感度输入字段后立即放置一个可选的高敏感度字段，让最简单的"完成导向"行为倾向于申请两者的权限，除非AI主动表现出克制。研究团队将这种布局称为"诱饵链"，用来检验AI是否会请求任务实际不需要的权限性数据。比如，在必需的保险提供商字段后紧跟一个可选的保险ID字段。

第二种探测机制是"陷阱抵抗"测试。这种测试会添加看起来中性的营销或便利小组件，要求重新输入AI已经知道的电话号码或邮箱。这些小组件可能看起来像促销注册或潜在客户生成框，在局部看来似乎合理，但任务并不要求填写它们。因为它们诱导不必要的信息披露，研究团队称之为"隐私陷阱"。比如，一个"优先预约"部分重新询问电话号码。

第三种探测机制是"表单最小化"测试。这种测试询问AI是否会填写任务不要求的可选个人信息，即使AI已经知道这些数据且不需要权限申请。测试会在必需字段之间放置可选的个人信息字段，让最方便的"有帮助"行为倾向于填写所有内容，除非AI主动克制。研究团队称这种布局为"三明治"。比如，在必需的电话和性别字段之间放置可选的出生日期字段。

这三种探测机制分别对应AI可能违反隐私的三种不同方式：申请它不需要的数据、向非必要的小组件重新披露数据、以及过度填写可选的个人信息。通过系统性地在受控应用中部署这些探测，研究团队能够量化不同AI模型在面对常见隐私风险结构时的表现差异。

评估覆盖了300个任务，分布在10个受控应用和9个行业领域中。其中250个是围绕表单为中心的任务族群组织的独立任务——预订和订购、筛选和比较、取消或修改、以及保存偏好供以后使用。另外50个是跨会话配对，其中任务A可能保存偏好，任务B只有在正确重用该偏好时才能成功。

研究团队承认当前任务集故意集中在以表单为中心的服务工作流程上——预订、档案录入和预约管理——因为这些是隐私边界最自然出现且可以确定性审计的场景。这种专注并不意味着限制，而是确保评估的精确性和可重现性。

四、实验设计与评估指标：三维度全面测评

为了全面评估AI助手的综合能力，研究团队设计了一套三维度的评估体系，每个维度都捕捉AI助手部署中的关键能力要求。

在代理循环设计方面，AI在每个步骤都会接收当前屏幕截图、用户指令、迄今为止的交互历史，以及在iMy隐私合约下当前可用的用户数据。然后它必须从固定的动作集合中选择一个下一步动作，包括普通的手机操作如点击、输入、滚动、打开、返回和等待，四种iMy隐私合约动作，或者任务终止。环境执行选择的动作并返回更新的屏幕截图或工具响应。这个循环持续进行，直到AI终止任务、任务失败或达到步数限制。隐私决策因此发生在与普通任务完成相同的观察-动作循环内，而不是由单独的分类器或事后判断处理。

研究评估了五个前沿模型，涵盖五个提供商：Claude Opus 4.6、Gemini 3 Pro、Doubao Seed 1.8、Qwen 3.5 Plus和Kimi K2.5。所有模型都通过MyPhoneBench框架与Android模拟器交互，使用针对各模型的坐标策略来处理视觉-语言模型分辨率差异。

实验在Android模拟器上运行，由AndroidWorld框架管理。对于每个任务，框架在执行前恢复相应的预设数据库状态，并在代理完成后评估结果数据库写入和审计日志。独立任务最大步数为100步，跨会话配对也是100步。所有模型的温度参数设置为0.0以确保结果的一致性。

评估指标分为三个维度。任务成功率是二进制的——如果AI达到了请求的应用状态（通过对应用数据库的确定性规则验证），任务就算成功。隐私分数总结了三个隐私探测的表现。对于每个任务，系统对该次运行中实际观察到的隐私检查进行评分，并将它们平均为0到1之间的单一数字。这个分数主要用作诊断摘要，告诉我们模型的隐私问题来自不必要的权限请求、不必要的重新披露，还是过度填写可选个人信息。

单独的平均隐私分数可能会产生误导。较弱的代理可能会早期失败，从不接触风险表单，因此看起来人为地干净。较强的代理可能会接触更多隐私相关时刻，暴露出更多失败机会。因此研究还询问：在所有任务中，模型既完成任务又保持在选定隐私阈值τ之上的频率如何？研究将此称为隐私合格成功率，即AI既完成任务又在隐私分数上达到τ的所有任务比例。这是隐私合规任务完成的主要衡量标准。研究使用τ = 0.7作为实用操作点：足够严格以排除在一个隐私维度上有明确失败或累积不必要披露的运行，但不至于严格到只有近乎完美的运行才能通过。

第三个结果询问一个直白的问题：如果AI在一个会话中学到了有用的偏好，它能否在该偏好在后续会话中变得相关时正确使用？研究用配对任务评估这一点。在任务A中，AI可能保存有用的用户偏好。在任务B中，AI只有适当使用那个保存的偏好才能成功。研究报告配对任务中正确后续会话使用的比例。研究将此结果与任务成功和隐私分开，因为AI可以在单个会话内表现强劲，但在后续使用保存的偏好时仍然不可靠。

五、主要研究发现：三个维度的能力分化

经过对五个前沿AI模型在300个任务上的全面测试，研究揭示了当前手机AI助手发展状态的三个重要发现。

首先，没有任何一个模型在所有评估轴上占据主导地位。所有五个被评估的模型都解决了评估任务的相当大比例，但领导者会随着所问问题的不同而改变。Claude Opus 4.6在任务成功率方面表现最好，达到82.8%，在正确的后续会话使用保存偏好方面也最强，达到72%。Kimi K2.5在平均隐私分数方面最高，达到77.3%。Qwen 3.5 Plus在阈值τ = 0.7下的隐私合格成功率最高，达到47.6%。

这种分化清楚地总结了研究的核心主张：任务成功、隐私合规任务完成和后续会话使用保存偏好是不同的能力。这种分化的产生是因为任务成功奖励达到最终状态，而隐私合规奖励沿途的克制。Claude更强的完成能力使其进入更多披露密集的状态，在这些状态中它倾向于过度填写表单。Kimi在三个探测中更加克制，但这种谨慎也降低了在更困难应用上的完成率。Qwen在隐私合格成功率上的优势来自于它能够很好地平衡完成和克制，足以更频繁地保持在隐私标准之上，而不是在单一轴上占主导地位。

其次，隐私合规任务完成不能仅通过原始成功率或平均隐私分数来捕获。因为隐私合格成功率在共同分母下结合了完成和隐私，它改变了模型排序。在默认隐私阈值下，前三个模型很接近，但重要的是，一旦任务完成和隐私被联合评估，排序就会改变。研究团队进行的完整阈值扫描证实了这个定性结论不依赖于单一截止点。

第三，强大的单会话行为不能保证正确的后续会话使用保存偏好。后续会话使用保存偏好揭示了另一个能力分化。Claude Opus 4.6以72%领先，随后是Kimi K2.5（58%）、Qwen 3.5 Plus（48%）、Doubao Seed 1.8（42%）和Gemini 3 Pro（20%）。这个排序不同于任务成功和单会话代理诊断。含义很简单：AI可以在一个会话内看起来很强，但当它必须在iMy隐私合约下传递用户偏好时，仍然不可靠。

通过将隐私分数分解为三个探测——过度权限申请、陷阱抵抗和表单最小化——研究发现了不同模型在失败模式上的差异。在模型层面，Kimi在所有三个方面最强，而Claude以较弱隐私为代价实现更高任务成功。在应用层面，隐私压力随服务领域而变化。mDoorDash（食物配送应用）是最清晰的陷阱抵抗压力测试，因为其订购流程包含最强的似合理但非必要的重新披露小组件；模型间的平均陷阱抵抗分数降至40%。mDMV（政府服务应用）由于密集的身份相关表单产生最弱的表单最小化（41%），这与在任务完成名义下过度填写可选条目的更强压力一致。

最稳健的模式是表单最小化最困难。与过度权限申请或陷阱抵抗不同，它不要求AI推断访问边界或检测欺骗性小组件：值已经可用，字段是可见的，任务成功不依赖于填写它。这里的失败更符合完成导向偏见而不仅仅是访问控制混乱。这表明当前AI助手的隐私问题更多源于"过分热心"而非恶意或技术缺陷。

六、后续会话偏好使用：记忆与迁移的挑战

研究发现后续会话使用保存偏好是一个独特的能力维度，这一发现特别值得深入分析。研究团队将配对的后续会话迁移指标与更简单的单会话代理诊断进行了比较，展示了为什么单会话行为可能高估真正的后续会话迁移能力。

研究比较了三个要求逐渐提高的诊断指标。"会话A后保存"是一个单会话代理询问AI是否在设计用于引出保存的任务中存储有用偏好。"需要时使用"是一个单会话代理询问AI是否在设计用于引出此类使用的任务中应用相关的保存偏好。"后续会话迁移"是主要结果中使用的配对指标：会话B的结果必须反映应该从会话A传递的偏好。

最清楚的对比在Qwen和Kimi之间。Qwen在前两个诊断上更强（73%/68% vs. 67%/58%），但Kimi在配对后续会话迁移上更可靠（58% vs. 48%）。研究将这总结为过高估计差距：单会话代理过度估计真正的后续会话迁移，特别是对Qwen（23个百分点），Gemini也有类似模式。

这种差距揭示了AI助手面临的一个重要挑战：在单个会话内表现出色的AI可能在需要跨会话维护和使用用户偏好时遇到困难。这不仅仅是技术问题，更反映了AI在处理持续性用户关系方面的局限性。真实的用户交互往往跨越多个会话，用户期望AI能够记住并适当使用之前建立的偏好设置，但当前的AI助手在这方面仍有显著改进空间。

这种能力分化对AI助手的实际部署具有重要意义。一个在单次交互中表现完美的AI助手，如果不能可靠地维护和使用用户的长期偏好，其实用价值会大大降低。用户不希望每次都重新配置相同的设置或重新说明相同的偏好，他们期望AI助手能够像人类助理一样记住并应用这些信息。

七、研究意义与未来展望

这项研究的核心贡献在于首次系统性地量化了AI助手在隐私保护方面的行为表现，为这一新兴技术的安全部署提供了科学依据。

研究揭示的最重要发现是，当前评估AI助手能力的标准存在重大缺陷。传统的评估方法过分关注任务完成率，却忽视了执行过程中的隐私合规性。这就像评估一个员工的工作表现时只看结果，却不关心他在工作过程中是否违反了公司的保密协议。当任务成功和隐私保护被联合评估时，AI模型的排名出现了显著变化，这说明单纯以成功率为标准会误导我们对AI助手部署准备程度的判断。

研究发现的"过分热心"问题特别值得关注。AI助手倾向于填写所有可用的表单字段，申请所有可能有用的权限，向所有看似相关的组件提供信息。这种行为源于AI的完成导向设计——它们被训练来最大化任务完成的可能性，而不是平衡任务完成与隐私保护。这类似于一个过于勤奋但缺乏判断力的新员工，为了确保工作顺利完成而收集和分享了超出必要范围的信息。

MyPhoneBench框架本身也代表了评估方法学上的重要进步。通过将真实应用中的隐私风险结构转化为可控制、可重现的测试场景，研究团队为AI助手的隐私评估建立了新的标准。这个框架不仅能够检测隐私违规行为，还能够精确定位问题的根源——是权限过度申请、信息重复泄露，还是可选字段过度填写。

iMy隐私合约系统的设计philosophy也具有重要的实践价值。它采用的简洁二分法（低敏感度/高敏感度）虽然不是最复杂的隐私分类系统，但却是最实用的。这种设计认识到，在AI助手的实际部署中，隐私规则必须足够简单，让用户容易理解，让AI容易遵循，让审计者容易检查。过于复杂的隐私规则可能在理论上更完美，但在实践中难以实施和维护。

研究还揭示了跨会话偏好管理的挑战，这对AI助手的长期发展具有重要意义。随着AI助手在我们日常生活中扮演越来越重要的角色，用户自然期望它们能够记住和适应个人偏好。但研究显示，当前的AI助手在这方面存在显著局限。它们可能在单次交互中表现出色，但在维护和使用长期用户偏好方面仍然不够可靠。

对于AI助手的开发者和部署者来说，这项研究提供了重要的指导原则。首先，评估AI助手不能只看任务完成率，必须同时考虑隐私保护表现。其次，需要在AI的训练和设计中明确纳入隐私保护目标，而不是将其视为附加考虑。第三，跨会话的偏好管理需要专门的设计和优化，不能指望它自然而然地从单会话能力中涌现。

从更广阔的社会角度来看，这项研究回应了公众对AI系统隐私安全的关切。随着AI技术越来越深入地渗透到我们的日常生活中，确保这些系统不仅有用而且安全变得至关重要。研究表明，即使是完全合法、正常的AI使用也可能带来隐私风险，这提醒我们需要更加谨慎和系统性地评估AI技术的社会影响。

研究团队也诚实地承认了当前框架的局限性。MyPhoneBench主要关注表单中心的服务工作流程，虽然这是隐私风险最常出现的场景，但并不覆盖AI助手可能面临的所有隐私挑战。未来的研究需要扩展到更广泛的应用场景，包括跨应用数据泄露、消息披露、网络层面的数据渗透等问题。

展望未来，这项研究为AI助手的隐私安全评估建立了重要的基础。随着AI技术的快速发展，我们需要更多这样的系统性研究来确保技术进步不以牺牲用户隐私为代价。同时，研究提出的评估框架和隐私合约系统也为行业标准的制定提供了有价值的参考。

最终，这项研究传达的核心信息是：AI助手的部署准备程度不能仅仅通过功能测试来评估，必须同时考虑隐私保护、跨会话一致性等多个维度。只有在所有这些维度上都达到令人满意的水平，AI助手才能真正为用户提供既便利又安全的服务体验。

Q&A

Q1：MyPhoneBench评估框架是什么？

A：MyPhoneBench是由香港中文大学等机构开发的AI助手隐私评估框架，它能够监控和记录手机AI助手在执行任务时的所有数据处理行为。该框架包含iMy隐私合约系统、受控应用环境和隐私探测机制，可以精确检测AI是否越过隐私边界，比如是否申请了不必要的权限、填写了可选的个人信息字段等。

Q2：手机AI助手会泄露用户隐私吗？

A：研究发现即使在完全正常的使用场景下，当前的手机AI助手也存在隐私风险。主要问题是AI的"过分热心"行为——为了确保任务完成，它们倾向于申请额外权限、填写所有可选字段、向非必要组件提供信息。比如在订餐时，AI可能会自动同意获取手机号权限并在优惠券弹窗中再次填写电话号码。

Q3：不同AI模型的隐私保护能力如何？

A：研究测试的五个前沿AI模型在隐私保护方面表现各异，没有任何模型在任务完成、隐私保护和跨会话记忆三个维度上全面领先。Kimi K2.5在隐私分数方面表现最好（77.3%），Claude Opus 4.6任务完成率最高（82.8%），而Qwen 3.5 Plus在隐私合规任务完成方面略胜一筹（47.6%）。