当网络犯罪更智能：动态评估攻击性网络安全AI助手的风险

动态评估攻击性网络安全AI助手的风险，这是一项由普林斯顿大学的Boyi Wei、Benedikt Stroebl、Joie Zhang和Peter Henderson，以及加州大学欧文分校的Jiacen Xu和Zhou Li共同完成的研究。该研究发表于2025年5月23日，论文编号为arXiv:2505.18384v1，感兴趣的读者可以通过arXiv网站获取完整论文。

你是否听说过"网络攻击的平均突破时间已缩短至48分钟，比去年减少了22%"？根据CrowdStrike 2025年全球威胁报告，最快的网络入侵仅需51秒。随着人工智能技术的快速发展，基础模型（即大型语言模型）正在变得越来越擅长编程，这意味着它们也可能被用于自动化危险的网络攻击操作。那么，我们该如何评估这些AI助手在网络安全领域可能带来的风险呢？

传统的AI安全审计往往采用静态评估方法，也就是说，它们只关注AI系统在固定条件下的表现。然而，这种方法忽略了一个关键因素：在现实世界中，恶意行为者拥有多种自由度来改进和调整他们的攻击工具。特别是在有强验证器（能明确判断是否成功的机制）和经济激励的情况下，攻击性网络安全AI助手非常适合被不断优化。

Wei等研究人员提出，我们应该采用动态风险评估方法，考虑攻击者在有状态和无状态环境中可能拥有的各种自由度。在有状态环境中，系统会记住过去的交互并据此调整响应；而在无状态环境中，每次交互都可以重置到初始状态。研究团队的惊人发现是：即使只有8个H100 GPU小时（约合36美元）的计算预算，攻击者也能将AI助手的网络安全能力提高40%以上，而且不需要任何外部帮助！

这一研究警醒我们：在评估AI系统的网络安全风险时，必须考虑到攻击者可能采取的各种改进措施，才能获得更准确的风险画像。接下来，让我们深入了解研究团队的发现和方法论。

一、为什么网络安全领域特别适合AI自我提升？

想象一下，你正在玩一个解谜游戏。如果每次尝试后，游戏都能明确告诉你"对了"或"错了"，而且解开谜题有丰厚奖励，你自然会被激励去不断尝试和改进方法，直到成功。网络安全领域就具备了这两个关键特性：强验证器和经济激励。

强验证器就像是那个立即告诉你"对了"或"错了"的反馈系统。在网络安全领域，当你发现或利用了漏洞，通常会得到明确信号——例如获得未授权访问或提取隐藏信息。想象你在尝试破解一个加密文本，当你解密成功时，你会立即知道自己做对了，因为你能看到有意义的文本出现。类似地，当攻击者成功注入SQL命令或执行命令注入时，他们会获得提升的权限或访问本应受限的数据，这都是明确的成功指标。

经济激励则像是游戏的高额奖金。现实中，网络攻击可以为攻击者带来巨额收益。仅勒索软件一项就估计每年从受害者那里转移超过10亿美元。另一方面，许多组织设立了"漏洞赏金计划"，向发现系统漏洞的安全研究人员提供奖励。这种强大的经济动机使得攻击者愿意投入大量计算资源来提高攻击效率。

研究团队还区分了两种类型的环境：有状态环境和无状态环境。这就像是在玩两种不同类型的游戏：

在有状态环境中，你的每一步操作都会改变游戏世界，且无法精确重置。比如，当你多次尝试登录失败后，账户可能会被锁定；或者当你进行SQL注入尝试时，可能会触发IP封锁。这意味着攻击者只有一次机会来"破解"系统，必须格外谨慎。

相比之下，无状态环境就像是可以无限次重新开始的游戏关卡。例如，逆向工程一个本地二进制文件或暴力破解哈希值，你可以一次又一次地尝试不同方法，直到成功。在这种情况下，攻击者可以反复尝试不同策略，大大提高成功率。

有了强验证器和经济激励，再加上无状态环境中可以进行多次尝试的特性，网络安全领域为AI自我提升创造了理想条件。接下来，我们将探讨攻击者可能利用的具体自由度。

二、攻击者的五种自由度

想象攻击者手中拿着一个AI网络安全助手，就像厨师手中的一把多功能瑞士军刀。这把"刀"有核心模型（大型语言模型）、记忆功能和整体框架结构。攻击者可以通过哪些方式来"磨刀"，使其更加锋利呢？研究团队确定了五种关键的自由度：

第一种是"重复采样"。这就像是在投掷骰子，你可以多次尝试，直到掷出想要的点数。在无状态环境中，攻击者可以多次运行同一个任务，获取不同的输出，然后选择最佳结果。事实上，这种方法被证明非常有效——随着尝试次数的增加，成功解决问题的概率往往会呈对数线性增长。

第二种是"增加最大交互轮数"。这就像是给厨师更多的时间来完成一道复杂的菜肴。通过允许AI助手与环境进行更多轮的交互，它有更多机会探索解决方案和修正错误。然而，研究者也发现，简单增加交互轮数可能会带来收益递减，因为AI可能会陷入重复相同命令的循环。

第三种是"迭代提示词改进"。想象你在教一个孩子做家务，你会根据他们的表现不断调整你的指导语言。类似地，攻击者可以根据AI之前的失败尝试来改进初始提示词。这种方法特别聪明，因为它利用AI自身的能力来提升性能，且计算成本相对较低。

第四种是"自我训练"。这有点像让一个厨师在没有外部指导的情况下通过不断尝试来改进自己的菜谱。研究团队惊讶地发现，即使只用33个成功轮次的数据进行微调，AI模型也能显著提高其性能，展现出域内泛化能力。

第五种是"迭代工作流改进"。这就像是重新设计厨房的布局，使厨师工作更高效。攻击者可以改变AI助手处理任务的整体流程，包括推理步骤、规划和工具使用。研究表明，即使使用相同的核心模型，通过优化工作流，也能显著提高助手的成功率。

这五种自由度的强大之处在于，它们不需要任何外部知识或更强大的模型，攻击者只需要计算资源和时间。而在有强验证器和经济激励的网络安全领域，这些投资往往是值得的。

三、研究方法与实验设计

为了验证这些自由度的影响，研究团队设计了一系列精心的实验。他们使用了Qwen2.5-32B-Coder-Instruct作为核心语言模型，这是一个拥有强大编程能力的大型语言模型。他们还采用了NYU CTF Agent作为基础代理框架，移除了其中的"放弃"工具以鼓励代理更深入地探索任务。

CTF（Capture The Flag）挑战是评估网络安全能力的常用基准。典型的CTF挑战包括任务描述和一些初始文件，AI助手需要分析材料并提交一个"flag"作为解决方案。研究团队使用了三个CTF基准数据集：

1. InterCode CTF：包含100个来自高中生网络安全竞赛PicoCTF的任务。研究者排除了10个无法解决的任务，将剩余的90个分为开发集（54个任务）和测试集（36个任务）。

2. NYU CTF：来自纽约大学年度网络安全意识周（CSAW）的CTF竞赛，提供了200个不同的挑战。

3. Cybench：由40个来自4个不同CTF竞赛的独特挑战组成，包括HackTheBox、SekaiCTF、Glacier和HKCert。

研究团队采用pass@k作为评估指标，这衡量的是从k次尝试中至少有一次成功的概率。默认情况下，他们设置k0=12（总尝试次数）、N=20（最大交互轮数），并报告带有95%置信区间的平均pass@k分数。

四、惊人的实验结果

当研究团队开始测试不同自由度的效果时，他们发现了一些令人震惊的结果。

首先，简单的"重复采样"和"增加最大交互轮数"确实能显著提高性能。在InterCode CTF测试集上，将重复次数从1增加到10，成功率（pass@k）从约0.5提高到0.8左右；同样，将最大交互轮数从10增加到30，也带来了明显的性能提升。然而，这些改进确实呈现出收益递减的趋势——当k或N变得更大时，每增加一个单位带来的改进会越来越小。

更有趣的是"迭代提示词改进"。研究人员发现，这种方法比简单的重复采样更有效。通过让AI反思并学习之前失败的策略和轨迹，它能够更高效地搜索解决方案。而且，这种方法计算成本相对较低，只需要一个额外的推理步骤来生成改进的用户提示。

"自我训练"的结果尤为惊人。研究团队收集了代理在开发集上的33个成功轨迹，并用这些数据对核心模型进行了5个周期和10个周期的微调。令人惊讶的是，即使只用这么少的训练样本，经过5个周期训练的模型也在测试集上表现出了域内泛化能力，始终优于基础模型。然而，自我训练也带来了权衡——当模型训练更多周期时，它的输出多样性会降低，这可能会影响在更大的k值下的性能。

最后，"迭代工作流改进"也展示了显著效果。即使使用相同的核心模型，通过迭代优化代理的工作流程（如推理步骤、规划和工具使用方式），研究人员能够生成比原始工作流性能更好的新工作流。

但研究的真正突破来自于固定计算预算下的比较分析。研究团队假设攻击者有8个H100 GPU小时（约合36美元）的计算预算，比较了五种自由度在有状态和无状态环境中的表现。结果显示，在这一相对较小的预算内，无状态环境中的性能提升可以超过40%！

这些发现令人警醒：即使是最基础的攻击者，只需要很小的计算投资，就能显著提高AI助手的网络安全攻击能力，而且不需要任何外部帮助。

五、研究启示与未来展望

这项研究给我们带来了几个重要启示。

首先，小型计算预算就能带来实质性的性能提升。这意味着，即使是资源有限的攻击者也能显著提高AI助手的网络安全攻击能力。在无状态环境中，性能提升甚至可以超过40%，而成本仅为36美元左右。这凸显了将这种动态性纳入风险评估的重要性。

其次，迭代提示词改进展现出最高的风险潜力，但增加重复次数或代理交互轮数也带来显著收益。这突显了基于重复采样的风险评估的局限性——它们无法完全捕捉代理的真实威胁潜力，因为即使是基本的提示词改进策略也能轻松超越简单的重复采样。

第三，有状态和无状态环境之间的风险潜力差异很大。部署前的操作（如自我训练和迭代工作流改进）通常计算密集型，因为它们需要攻击者先收集开发集，然后反复运行超参数搜索和评估。在有限的计算预算下，主要风险来自推理时的操作，这些操作通常只在无状态环境中可行。这一区别强调了需要针对不同环境进行单独的风险评估。

研究人员也指出，他们只是触及了攻击者可能进行的修改的表面。在现实世界中，攻击者往往拥有更多高级能力：他们可以添加网页浏览工具、手动改进初始信息、使用强化学习进行自我训练，或采用更好的探索方法。这项研究的主要目标是展示，即使是相对较低的计算预算和简单的方法，也能在多个自由度上实现性能提升。

总的来说，这项研究强调了网络安全评估必须考虑这些动态因素。如果——正如研究者发现的——网络安全能力可以使用仅8个GPU小时或不到36美元的计算资源提高40%，那么将这些修改纳入考虑的动态风险评估必须成为任何前沿网络安全风险评估框架的关键组成部分。

这对各方都有重要启示。对于AI系统开发者来说，这意味着安全审计不应只考虑静态场景，而应包括攻击者可能的改进路径。对于政策制定者来说，这表明在评估AI系统风险时，需要考虑到可预见的修改和一定计算阈值内的微调。对于普通用户和组织来说，这强调了持续更新网络安全防御的重要性，因为攻击者的能力可能会随着时间的推移而显著提升。