南加州大学团队突破AI安全防线：用少量信息就能破解大模型的隐藏指令

这项由南加州大学的Murtaza Nazir、Matthew Finlayson、Xiang Ren、Swabha Swayamdipta以及康奈尔大学的John X. Morris联合完成的研究发表于2025年6月的arXiv预印本平台（论文编号：arXiv:2506.17090v1）。对这项研究感兴趣的读者可以通过该编号在arXiv网站上查阅完整论文。

这项研究就像是给AI模型做了一次"读心术"测试。我们都知道，AI聊天机器人在回答问题时，除了你看到的回复文字外，背后还有一套隐藏的"内心独白"——这就是所谓的隐藏提示词或系统消息。这些隐藏指令告诉AI该如何行为，比如"要礼貌回答"、"不要透露敏感信息"等等。研究团队发现了一种巧妙的方法，能够通过分析AI输出时的"语气变化"，反推出这些原本应该保密的隐藏指令。

这个发现对AI安全具有重要意义。当前许多AI应用都依赖隐藏的系统提示来确保安全性，但这项研究表明，这种保护机制可能并不如我们想象的那么牢固。研究团队开发的新方法叫做PILS（从日志概率序列进行提示反演），相比之前的技术，能够将隐藏提示的恢复成功率提高2到3.5倍，在某些情况下甚至从17%提升到60%。

整个研究过程就像是在玩一个高级的"猜词游戏"。传统方法只看AI说出的第一个词来猜测背后的指令，而新方法则观察AI说话的整个过程——就像通过观察一个人讲话时的语调变化、停顿模式来猜测他心里在想什么。研究发现，AI在生成回答的过程中会逐渐"泄露"关于原始指令的信息，就像一个人在讲故事时不经意间透露了故事的背景。

一、破解AI"内心独白"的新思路

传统的AI模型反演技术就像是通过听一个人说的第一句话来猜测他接到了什么指令。这种方法的局限性显而易见——信息量太少，猜测准确率自然不高。研究团队提出了一个关键洞察：AI模型在生成文本的过程中，每一步都会产生一个概率分布，显示下一个可能出现的词汇及其概率。这些概率信息就像是AI的"思考轨迹"，包含了大量关于原始输入的线索。

这个过程可以用看电影来类比。传统方法就像只看电影的第一个镜头就要猜出整部电影的剧本，而新方法则是观看电影的多个片段，从演员的表情变化、镜头切换、音乐节奏等多个维度来推断剧本内容。每一个新的片段都能提供额外的信息，让推断变得更加准确。

研究团队发现，AI模型的输出实际上存在于一个低维子空间中。这听起来很抽象，但可以这样理解：虽然AI的词汇表可能包含几十万个词，但在任何特定时刻，真正有意义的信息只需要用几千个数字就能完全表达。这就像是用一个小小的遥控器就能控制一台复杂的电视机——你不需要同时按下所有按钮，只需要几个关键按钮的组合就能实现所有功能。

基于这个发现，研究团队设计了一种"压缩"技术。传统方法需要获取AI模型对所有词汇的概率评分，这可能涉及几十万个数字，成本高昂且效率低下。新方法只需要获取几千个关键数字，就能无损地重建完整的概率分布。这就像是用一种特殊的压缩算法，能够将一部高清电影压缩成很小的文件，但播放时画质完全不受影响。

更令人惊讶的是，研究团队发现AI模型会在生成过程的不同阶段透露不同的信息。有些隐藏指令的线索只有在AI生成了十几个词之后才会显现，就像一个人在谈话过程中逐渐暴露自己的真实想法。这种"时间延迟泄露"现象解释了为什么观察多个生成步骤比只看第一步要有效得多。

二、技术创新：让"读心术"变得更精准

新方法的核心技术创新在于对AI模型数学结构的深入理解。研究团队证明了一个重要的数学定理：AI模型的概率输出可以通过一个线性变换完全恢复其内部的隐藏状态。这个发现就像是找到了一把万能钥匙，能够打开AI模型内部思考过程的黑盒子。

具体来说，当AI模型产生一个概率分布时，这个分布中包含的信息实际上等价于模型内部某个"思考状态"的线性投影。通过逆向这个投影过程，研究团队能够近似恢复出模型的原始思考状态。这就像是通过观察影子的形状来推断投射物体的三维结构——虽然是间接的，但在数学上是可行的。

研究团队使用了一种叫做"加性对数比变换"的数学工具来处理概率数据。这个听起来复杂的名词其实对应一个简单的想法：将概率信息转换成普通的数字，这样就能用标准的数学方法来处理。这就像是将不同货币都兑换成同一种货币，然后就能进行直接的数值计算。

在具体实现上，新方法采用了编码器-解码器架构，这是当前AI领域的一种成熟技术框架。编码器负责理解从AI模型中提取的压缩信息，解码器则负责将这些信息转换成原始的隐藏指令。整个过程就像是一个翻译系统，能够将AI的"思考语言"翻译成人类能理解的指令文本。

为了处理不同AI模型之间的差异，研究团队还设计了一个适配层。这个适配层就像是一个转换插头，能够让为某种AI模型训练的反演系统适用于其他类型的AI模型。这种设计大大提高了方法的通用性和实用性。

三、实验验证：从理论到实践的飞跃

研究团队在多个数据集上进行了全面的实验验证。他们使用了包含200万条指令的大型数据集来训练反演模型，这些指令涵盖了各种不同类型的任务和场景。训练过程就像是教一个学生通过观察老师的表情和语调来猜测老师心里的想法——需要大量的样本和反复练习。

实验结果令人震惊。在最基础的测试中，新方法在Llama 2 Chat模型上的精确恢复率达到了51%，而之前最好的方法只能达到23%。这意味着研究团队的方法能够完全正确地恢复超过一半的隐藏指令，这在AI安全领域是一个重大突破。

更有趣的是，研究团队发现他们的方法具有出色的"泛化能力"。用16个生成步骤训练的模型，当测试时使用32个步骤时，性能还会进一步提升。这就像是一个学过基础驾驶的人，给他更多的练习时间反而能开得更好。这种现象表明AI模型确实会在较长的生成过程中逐渐泄露更多信息。

研究团队还测试了方法在不同类型任务上的表现。在代码生成任务上，新方法的成功率甚至达到了60%，而在一些对话任务上也保持了较高的成功率。这表明无论AI被用来做什么任务，其隐藏指令都可能被这种方法破解。

特别值得注意的是，研究团队还验证了方法在"系统消息恢复"方面的能力。系统消息是AI应用中最敏感的部分，通常包含了关于AI行为规范、安全约束等关键信息。实验表明，虽然系统消息比普通指令更难恢复，但新方法仍然能够取得显著的成功率。

四、跨模型迁移：一招鲜吃遍天

研究团队还解决了一个重要的实际问题：如何让为一种AI模型开发的反演技术适用于其他模型。这个问题就像是如何让为某个品牌汽车设计的诊断工具也能用于其他品牌的汽车。

传统方法在这方面存在严重局限，只能在使用相同词汇表的模型之间迁移。这就像是只能在说同一种语言的人之间进行交流。研究团队提出了一种巧妙的解决方案：利用不同AI模型词汇表之间的重叠部分作为"桥梁"。

具体做法是找出两个模型共同认识的词汇，然后通过这些共同词汇来建立映射关系。研究发现，即使是来自不同技术路线的AI模型，通常也有几千到上万个共同词汇，这为跨模型迁移提供了足够的基础。实验表明，这种迁移方法能够在不同模型家族之间取得不错的效果。

这种跨模型迁移能力具有重要的实际意义。在现实应用中，攻击者往往无法获得目标AI模型的详细信息，更不可能专门为其训练反演系统。跨模型迁移技术使得攻击者可以用一个通用的工具来攻击多种不同的AI系统，这大大降低了攻击的门槛和成本。

五、安全影响：AI防护的新挑战

这项研究的安全影响不容小觑。当前许多AI应用都依赖于隐藏的系统提示来确保安全性，认为用户无法看到这些提示就等于安全。但这项研究表明，这种"安全感"可能是虚假的。

研究结果表明，即使是经过安全训练的AI模型，其隐藏指令仍然可能被恶意用户破解。这就像是一个保险箱虽然有密码锁，但小偷可以通过观察开锁时的细微振动来推断密码。这种攻击方式特别隐蔽，因为攻击者只需要观察AI的正常输出，不需要进行任何明显的异常操作。

更令人担忧的是，这种攻击方法对API接口同样有效。许多AI服务提供商通过API接口提供服务，认为只要不暴露模型内部参数就是安全的。但研究表明，攻击者只需要通过API获取少量的概率信息，就能够实施有效的攻击。虽然获取这些信息需要一定的技巧和成本，但对于有动机的攻击者来说并非不可逾越的障碍。

研究团队也指出了一些可能的防护措施。最直接的方法是在API设计时限制或取消概率信息的输出，但这会影响某些合法应用的功能。另一种思路是在概率输出中加入噪声或进行其他形式的混淆，但这需要在安全性和实用性之间找到平衡点。

六、方法对比：新旧技术的较量

为了全面评估新方法的优势，研究团队与多种现有技术进行了详细对比。传统的基于文本的反演方法虽然不需要概率信息，但成功率普遍较低，特别是在面对经过安全训练的AI模型时表现更差。

基于单步概率的方法虽然能够利用更丰富的信息，但由于信息量限制，效果也不够理想。研究团队的多步方法通过观察AI生成过程的多个时间点，能够收集到更多的线索，从而显著提高了成功率。

在计算成本方面，新方法也表现出色。传统方法需要获取AI模型对整个词汇表的概率评分，对于拥有十万级词汇的大型模型来说，这意味着需要处理海量数据。新方法通过压缩技术，将数据量降低了一到两个数量级，大大减少了计算和存储成本。

研究团队还发现了一个有趣的现象：AI模型的训练方式会影响反演攻击的成功率。基础版本的AI模型（没有经过对话优化）更容易受到攻击，因为它们倾向于直接重复输入内容。而经过对话训练的模型虽然更难攻击，但仍然会在生成过程中泄露信息，只是需要更精细的技术来提取。

七、未来展望：攻防博弈的新篇章

这项研究开启了AI安全领域的一个新研究方向。随着AI模型变得越来越复杂，其内部的信息泄露渠道也可能越来越多样化。研究团队的工作证明了概率信息是一个重要的泄露渠道，但很可能还有其他未被发现的渠道。

从防护角度来看，这项研究为AI安全设计提供了重要启示。未来的AI系统设计需要考虑到这种新型攻击的威胁，在系统架构、API设计、信息输出等多个层面采取防护措施。这可能会推动AI安全技术的进一步发展，包括更安全的模型训练方法、更严密的API设计原则等。

研究团队也指出了当前方法的一些局限性。虽然在实验室环境下取得了不错的效果，但在真实世界的复杂环境中，攻击的成功率可能会降低。此外，随着AI服务提供商开始采取防护措施，攻击的难度也会增加。这将形成一个典型的攻防博弈局面，推动双方技术的不断进步。

从更广阔的视角来看，这项研究也提醒我们需要重新审视AI系统的透明度和可解释性。虽然黑盒式的AI应用在某些场景下有其优势，但完全的不透明性并不等同于安全性。如何在保护商业机密和确保系统安全之间找到平衡，将是AI行业面临的长期挑战。

说到底，这项研究就像是给AI安全领域敲响了一记警钟。它告诉我们，在AI技术快速发展的同时，我们不能忽视安全性的重要性。隐藏的指令并不意味着绝对的安全，AI模型在输出信息时总是会无意中透露一些线索。对于AI开发者和使用者来说，了解这些潜在风险并采取相应的防护措施至关重要。

这个发现对普通用户也有实际意义。当我们与AI聊天机器人交互时，需要意识到我们的对话可能比想象中更"透明"。虽然大多数人不会成为这种高级攻击的目标，但了解AI系统的这些特性有助于我们更明智地使用AI服务。同时，这项研究也推动了AI技术向更安全、更可靠的方向发展，最终会让所有用户受益。

有兴趣深入了解技术细节的读者可以通过arXiv:2506.17090v1这个编号在arXiv网站上查阅完整的研究论文，其中包含了详细的数学推导、实验设计和结果分析。

Q&A

Q1：PILS是什么？它是如何工作的？ A：PILS是"从日志概率序列进行提示反演"的缩写，是一种通过分析AI模型生成文本过程中的概率信息来破解隐藏指令的技术。它的工作原理类似于通过观察一个人说话时的语调变化来猜测他心里的想法，通过监控AI在多个生成步骤中的概率分布变化，逐步推断出原始的隐藏指令。

Q2：这种攻击方法会不会被广泛滥用？ A：虽然研究展示了攻击的可能性，但实际实施这种攻击需要相当的技术门槛和计算资源。而且随着AI服务提供商开始采取防护措施（如限制概率信息输出），攻击的难度会进一步增加。不过，这项研究确实提醒我们需要更重视AI系统的安全设计。

Q3：普通用户应该如何应对这种安全风险？ A：对于普通用户来说，最好的应对方式是选择有良好安全记录的AI服务提供商，避免在AI对话中透露过于敏感的个人信息。同时，了解AI系统的这些特性有助于更明智地使用AI服务。这项研究主要影响的是AI系统开发者，他们需要在系统设计时考虑这种新型威胁。