字节跳动Seed团队发现：AI智能体学习新任务的速度，正以每三个月翻倍的惊人节奏增长

这项由字节跳动Seed团队完成的研究，以预印本论文的形式于2026年7月7日公开发布，论文编号为arXiv:2607.05155v1，有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。通讯作者为钟树，对应邮箱为zhongshu@bytedance.com，项目主页为edge-bench.org。

当我们谈论人工智能的进步时，大多数人脑海中浮现的是一个画面：工程师们往模型里塞进越来越多的数据，用越来越强大的计算机训练，然后模型就变聪明了。这种进步方式就像是提前把所有知识背进脑子里，再去参加考试。但真实世界的工作方式并不是这样的。一个刚入职的新员工，不可能在入职前就把公司内部所有的规章制度、私有代码库和客户档案都背下来——他必须在实际工作中边做边学，从每一次成功和失败中积累经验。

字节跳动Seed团队关心的正是后面这件事：当AI智能体被部署到真实工作环境中之后，它能不能像人一样，通过与环境的互动来持续提升自己？更关键的是，这种"边干边学"的能力，遵循某种可以预测的规律吗？

为了回答这个问题，研究团队构建了一套名为EdgeBench的测试平台，涵盖134个来自真实世界的超长时限任务，让五款顶尖AI模型在这些任务上持续工作长达12小时，总计积累了约38000小时的智能体与环境交互数据。最终，他们发现了一个令人惊讶的结论：AI智能体在环境中的学习进步曲线，精确地遵循一种叫做"对数S形曲线"的数学形态，拟合精度极高，R?值达到0.998——几乎完美。与此同时，他们还发现，从2025年9月到2026年4月，前沿AI模型从环境中学习的速度大约每三个月翻一倍。

一、为什么要研究AI"边干边学"的能力

在正式介绍这套测试平台之前，有必要先解释清楚一件事：为什么"从环境中学习"这件事，对于AI在现实中的应用如此重要？

回到职场新人的比喻。一个哈佛毕业的高材生，固然在校期间积累了大量通用知识，但他第一天进入一家金融公司，面对公司独有的内部交易系统、专属风控模型和尚未公开的市场数据时，他之前学到的通用知识只是一个起点。接下来的进步，来自于他在工作中不断尝试、犯错、获得反馈、然后修正。

AI模型面临完全相同的困境。在训练阶段，模型从互联网上海量的公开数据中学习，但这些数据有三个天然的局限：第一，有些信息根本不存在于公开数据中，比如某家公司的内部代码库或私有文档；第二，即便原始数据存在，也缺少专家在获得这些知识过程中的"中间过程"——那些反复试错、根据反馈调整的过程；第三，世界在不停地变化，新的工具、新的发现、新的问题层出不穷，固定的训练数据永远无法完全覆盖。

正因如此，一个AI系统在被部署到真实工作场景后，能不能主动从环境中获取信息并改进自己，就变成了衡量其实用价值的核心指标之一。而在这项研究之前，学界对于这种"环境学习"是否遵循某种可预测的规律，几乎一无所知。

二、一座容纳134个真实挑战的大型考场

EdgeBench的设计理念，可以用"尽量贴近真实工作"来概括。

研究团队与来自各领域的领域专家合作，从六大能力方向精心挑选了134个任务。这六个方向分别是：科学研究与机器学习、系统软件工程、组合优化、专业知识工作、形式数学与定理证明，以及互动游戏与模拟器。这些任务不是为AI专门设计的简化版练习题，而是真实世界中真正困难的工作——比如用Lean 4语言形式化证明费马大定理的正则情形、重新实现FFmpeg的像素格式转换库、用物理模型重建引力波信号、为OpenTTD编写一个能让公司盈利的交通AI脚本。

每个任务都被设计成至少需要AI持续工作12小时才能充分探索的挑战。作为对比，此前另一个知名的AI评测平台"Agents' Last Exam"平均每个任务只给模型大约一小时的时间。而EdgeBench中记录的人类专家完成这些任务所需的时间，平均高达57.2小时，最长的一个任务甚至需要320小时。这意味着这些任务对人类专家来说都是耗费大量精力的真实工作，而不是随便找几个练习题塞进去。

EdgeBench还专门排除了那些主要考察"视觉理解"能力的任务，比如通过图形界面操作软件。这样做的原因很直接：如果一个任务的关键在于能不能"看懂图标"，那么模型的表现就很难区分到底是学习能力强，还是视觉感知能力强。研究团队想要纯粹地测量"从反馈中学习并改进"这件事本身。

三、双重反馈回路：既有快速探索，也有权威评判

EdgeBench的评测机制设计是这整个研究中最值得细说的部分之一，因为它直接决定了AI能否真正"学到东西"。

现实中的工程师或研究员工作时，其实天然地在使用两套反馈循环。第一套是快速的本地反馈：写一段代码，运行编译器看看有没有语法错误，跑一下本地测试看看功能对不对，在开发数据集上验证一下模型性能。这个过程很快，几秒到几分钟就能完成，可以反复迭代数十次甚至数百次。第二套是权威的外部反馈：把代码提交到生产环境，看真实用户会不会遇到问题；把论文投稿给期刊，看同行评审怎么说；把模型提交给竞赛评测，看隐藏测试集上的表现。这个过程慢得多，但提供了第一套循环无法给出的真实校准。

EdgeBench把这两套机制都复制进了评测平台。AI工作在一个隔离的"工作容器"中，里面有全部的任务材料和本地验证工具，但没有隐藏的评测数据。当AI认为自己准备好了，可以把当前成果提交给一个独立的"评测容器"——这个容器里有隐藏的测试案例和打分标准，会给出分数和诊断性反馈，然后立刻销毁。提交之间有冷却时间限制，不能无限刷分。此外，平台后台还会定期对AI的当前状态进行"快照评分"，这些分数只记录分析用，不会告诉AI自己，这样就可以追踪AI在两次主动提交之间的进步曲线。

整套系统还支持AI在提交评测后继续工作，不需要等待评测结果回来才能行动——这和真实的异步工作流程完全一致。

四、那条几乎完美的S形曲线

现在来到这项研究最核心的发现。

研究团队评测了五款前沿模型：Anthropic的Claude Opus 4.8、OpenAI的GPT-5.5和GPT-5.4、智谱的GLM-5.1，以及DeepSeek-V4-Pro预览版。每个模型在每个任务上独立运行三次12小时的完整流程，记录所有提交记录和性能轨迹。

如果你盯着某一个具体任务的学习曲线来看，你会看到一条凹凸不平的阶梯状折线——在某个时间点成绩突然跳升，然后在一段平台期后再次跳升，中间还可能夹杂着一些退步。每个任务、每个模型的曲线形态都各不相同，有些是缓慢的线性积累，有些是长时间停滞后的突然突破，有些甚至会出现明显的倒退。

但当研究团队把所有134个任务的性能曲线取平均之后，奇迹般的事情发生了。那些嘈杂的锯齿状曲线全部消失了，取而代之的是一条极其光滑、形态优雅的S形曲线。更令人惊讶的是，这条曲线可以被一个仅有三个参数的数学公式精确描述：S(t) = Smax / (1 + (tmid/t)^β)。

在这个公式里，t是已经花费的交互时间，Smax是这个模型在这类任务上理论上能达到的最高分数上限，tmid是达到一半最高分所需的时间，β则控制着曲线在对数时间轴上的陡峭程度——β越大，意味着模型的学习过程越集中，在某个短暂的时间窗口内快速爆发；β越小，则意味着进步更加均匀地分布在整个学习周期中。

研究团队用R?来衡量这个公式的拟合精度。R?等于1意味着完美拟合，等于0意味着和随机猜测差不多。五个模型的平均R?达到了0.998——在实验科学中，这个数字几乎是你能期待的最高值了。

五种模型的具体参数各有差异。GPT-5.5的Smax最高达到0.60，意味着它的理论成绩上限最高；GLM-5.1的tmid最长达到4.8小时，说明它需要更多时间才能开始快速进步；Claude Opus 4.8和DeepSeek-V4-Pro的β都达到了0.93，说明它们的学习曲线相对陡峭，一旦开始爆发就比较集中。

这个规律不只在全部134个任务的平均曲线上成立。研究团队还把任务按六个大类分别平均，在每个类别上分别拟合，结果同样成立，R?最低的也达到0.972。他们还把时间窗口从12小时扩展到28小时（覆盖80个任务）和72小时（覆盖18个任务），规律依然成立，拟合R?全部不低于0.993。

五、能预测未来的曲线

发现一个好的拟合公式是一回事，但如果这个公式还有预测能力，那就意味着它捕捉到了某种真实存在的规律，而不只是事后凑数。

研究团队做了一个验证实验：只使用前6.5小时的数据来拟合公式，然后用拟合出的参数预测接下来6.5到12小时的性能走势，再把预测值和真实测量值对比。

结果是，五个模型的预测准确度都相当高：拟合段的R?全部达到0.997以上，而预测段（即未被用来拟合的后半段）的预测误差（RMSE）全部低于1个百分点。换句话说，只要你观察一个模型在某类任务上学习的前一半时间，你就能相当准确地预测出它在后半段会达到什么样的表现水平。

六、这条S形曲线从哪里来：一个来自图论的理论解释

发现规律之后，研究团队没有止步于描述现象，他们还提出了一套理论来解释这条S形曲线为何会自然出现。

这套理论的核心比喻是这样的：把一个复杂任务想象成一张大地图，地图上布满了各种"得分节点"，每个节点代表一项可以解锁的子能力或成就。节点之间有边相连，一条从节点A指向节点B的边，意味着"解锁A会帮助解锁B"。一开始，智能体只解锁了一小部分节点，剩余的大部分处于锁定状态。

每个时刻，智能体能够尝试解锁的节点，只有那些从已解锁区域有边指向的"前沿节点"。已经解锁的区域越大，对前沿的"推进力"就越强；但随着已解锁区域扩大，剩余的锁定区域越来越小，可以解锁的空间也越来越有限。这两个效果叠加在一起，就自然产生了"先慢后快再慢"的S形进步节奏——就像一团墨水滴在水面上扩散，一开始缓慢渗透，然后快速扩散，最后被边界约束而放慢。

那么，时间轴为什么是对数尺度的？理论给出的解释是：任务图的结构是近似自分形的（self-similar），难度每提高一个层次，需要探索的图结构规模就会成倍增长。在这种情况下，智能体每消耗一个固定量的计算资源，在难度尺度上前进的距离就会以对数速度增长——于是，在对数时间轴上，进步速度自然呈现出线性，整体曲线就是S形。

研究团队还做了数学验证，证明当你把足够多的独立任务的学习曲线做平均时，单个任务曲线的锯齿和噪声会被消除，浮现出一条平滑的整体S形——前提是这些任务的"半程时间点"（tmid）和"进步速度"（β）在统计上足够集中。这个数学条件在EdgeBench的134个任务中确实近似成立，这才是整个规律能够浮现的根本原因。

七、S形为何比其他形状更合适

当研究团队宣称学习曲线符合对数S形时，一个自然的质疑是：也许任何S形曲线都能拟合得差不多好，这个特定的形状并没有什么特殊意义？

为了回应这个质疑，研究团队系统地比较了五种不同的增长模型：对数S形（Logistic）、对数正态分布（Log-Probit）、对数Gompertz分布、Weibull累积分布，以及简单的对数线性模型。拟合精度上，对数S形的均方根误差最低（0.390），略优于Log-Probit（0.398）和对数Gompertz（0.402），明显优于Weibull（0.404），而对数线性模型（0.717）则差得多，说明纯粹的"越来越快"模型无法描述这种有上限的饱和式进步。

研究团队还给出了机制层面的理由来优先选择对数S形：它的增长速度正比于"已解锁进度×剩余空间"，前者代表可复用的已有能力，后者代表仍有待攻克的剩余机会。这个"双因子相乘"的结构，在理论上直接对应了前面介绍的任务图前沿扩张机制。其他几个模型虽然形状相似，但背后的机制故事并不如此自然。

八、从2025年9月到2026年4月：学习速度每三个月翻倍

除了"曲线是什么形状"这个问题，研究团队还关心另一个问题：随着时间推移，前沿模型从环境中学习的速度是否在加快？

为了回答这个问题，他们从EdgeBench中挑选了一个特殊的18任务子集，这些任务有一个重要特性：所有模型在第一次尝试时的表现都差不多，平均分在6.87左右，波动很小。这意味着起跑线基本一致，之后的差异就主要来自于从环境中学习的效率，而不是原有知识储量的多少。

研究团队对2025年9月到2026年6月间发布的多款前沿模型都在这个子集上进行了测试，记录每个模型在2小时内相比初始表现的提升幅度，把这个提升幅度定义为"学习速度"。

从GPT-5-Codex（2025年9月发布）到GPT-5.5（2026年4月发布），学习速度在221天内增长了约8倍。用指数增长来拟合这段趋势，对应的倍增周期大约是三个月。

更有意思的是，这种加速并非简单地靠"提交更多次"来实现的。研究团队对比了各模型的提交频率和"有效提交率"（即每次提交真正提升了最佳分数的比例）。结果发现，新一代模型虽然提交频率参差不齐，但有效提交率普遍在提升——也就是说，更新的模型提交的每一次都更有针对性，更少走弯路，而不是单纯靠数量堆出来的。

九、连续学习胜过反复重来

一个看似合理的担忧是：AI成绩随时间提升，会不会只是因为它多尝试了几次，而不是真正"学到了什么"？毕竟，即使是完全随机地猜测，猜的次数多了，偶尔也能猜对。

研究团队专门设计了一个实验来排除这种可能性。他们给Claude Opus 4.8在17个任务上分配相同的总时间预算（12小时），然后以两种不同方式使用这个预算。

第一种方式是"有积累地连续工作"：AI从头到尾在同一个工作空间中持续运作，前面的尝试、工具、文件、反馈历史全部保留，后面的工作可以在前面的基础上继续。

第二种方式是"无积累的独立重试"：把12小时切成6份，每份2小时，每次从零开始，完全清空之前的所有状态，最后取6次结果中的最好成绩。这模拟了"重复采样"的极端情况——相当于抛了6次硬币，取最好的那次。

在相同的总预算下，连续积累的方式在12小时后达到43.0分，而重复重试方式只达到36.1分，差距6.9分。这个差距证明了AI确实从历史经验中获得了实质性的收益，而这些收益是单纯靠重复尝试无法获得的。

十、更长的上下文记忆，更强的学习能力

既然积累经验很重要，那么如何让AI记住更多的历史信息？一个最直接的方法是扩大AI的"记忆容量"——也就是它能同时容纳在脑子里的信息量，在技术上叫做"上下文窗口长度"。

研究团队对比了Claude Opus 4.8在两种不同上下文长度下的表现：200K词元（tokens）和100万词元。这两种配置在其他所有条件完全相同的情况下，在42个任务组成的子集上分别运行了完整的12小时评测。

结果显示，1M上下文的Opus 4.8在所有时间节点上都稳定领先200k版本。在2小时时，差距是5.8分；在12小时时，差距收窄到4.4分，但始终存在。两种配置的学习曲线形态几乎平行，说明更长的上下文不只是让初始表现更好，而是在整个学习过程中持续提供更强的记忆支撑。

这个结果说明，即便系统已经有了外部文件存储、进度笔记等辅助记忆工具，模型本身的上下文容量依然是一个独立的、不可替代的因素。

十一、一个引力波任务的12小时解剖

为了让上述所有规律更加具体可感，研究团队对一个具体任务进行了细致的案例分析：引力波信号重建。

这个任务要求AI基于LIGO（激光干涉引力波天文台）在2015年首次探测到引力波时的公开论文，从原始应变数据中重建出完整的引力波信号分析流程，包括两个探测站各自的波形时序、时频谱图，以及双黑洞合并过程中的速度和间距曲线。

一个GPT-5.5智能体在这个任务上工作了整整12小时，提交了224次，其中平台后台还额外进行了23次定时快照评分。在这247次评分中，只有27次真正提升了最佳成绩超过0.1个百分点。也就是说，大约88%的提交都是"无效"的探索——这个比例看起来很低，但实际上这正是真实科研工作的常态。

从12小时的进步轨迹中，研究团队识别出了七个关键里程碑，每个里程碑都代表着一次质的跃迁。

最初，AI用前11次提交建立起一个可以被打分的完整分析流程，拿到42.8分的初始成绩，但此时源动力学（黑洞轨道速度和间距）部分的得分很低。在接下来约1小时内，AI在稳定基础流程的同时，把频率估计方法从粗糙的版本换成了更精确的，将成绩提升到约50分。

随后大约3小时内，AI通过重新对齐时频窗口、改善探测站波形比对等信号处理改进，把成绩推进到52.3分。然后在第4到第5小时，发生了整个12小时运行中最大的单次跳跃：AI识别出源动力学是得分最薄弱的环节，转而专注于校准双体物理模型，将源动力学得分从64.2提升到89.0，带动总分从52.3跳升到59.7，涨幅7.4分。

在最后的几小时里，AI主要集中于修复Hanford探测站的波形重建误差，通过时移对齐和窄带修正，把该分项从约47分提升到95分，最终总分定格在67.0分。

这个案例完美地展示了"信息解锁信息"的机制：每一次有意义的提交所获得的反馈，都改变了AI下一步搜索的方向，让后续的尝试更有针对性。

十二、数学定理证明这块"硬骨头"

在六大任务类别中，形式数学与定理证明是表现最值得关注的一类。这13个任务包括了用Lean 4语言证明费马大定理正则情形、卡尔森定理（关于L?函数的Fourier级数逐点收敛性）、多面体外翻定理（Sphere Eversion）等数学前沿成果的形式验证。

这类任务的特殊性在于：它采用严格的机器校验，一个证明要么完全通过，要么在某个步骤失败，没有中间地带。而且评分规则是传递依赖的——如果证明B依赖于引理A，但A还没有被证明，那么B也不算成立，不给分。

在这个类别上，模型之间的差异最为悬殊。Claude Opus 4.8在12小时后的平均得分是55.0，GPT-5.5是50.0，但GLM-5.1只有24.6，DeepSeek-V4-Pro仅有14.1。GLM-5.1的tmid参数高达119.6小时，意味着按照其学习曲线的参数外推，它需要将近五天才能达到自己理论成绩上限的一半——这在12小时的评测窗口内显然远未实现。GPT-5.4的tmid更是外推到了17.3小时，说明12小时对它来说刚刚进入"开始快速进步"的阶段。

这些数据说明，不同任务类型对不同模型的考验方式差异很大，简单地说"哪个模型更好"远不如分析"哪个模型在什么类型的任务上、在什么样的时间预算下，学习效率最高"来得有意义。

十三、S形曲线在什么情况下会失效

研究团队对自己发现的规律保持了相当的谨慎态度，专门列出了这条S形规律的适用边界。

当任务图存在严重的"瓶颈"节点——也就是必须先解锁某个特定能力才能继续前进的强依赖链——时，进步曲线可能不再是平滑的S形，而是出现长时间的停滞，然后断崖式的跃升，形成明显的多段结构。这在引力波任务的案例中已经可以部分看到：源动力学部分的突破就是一个典型的"瓶颈突破"事件。

当各任务之间的"半程时间点"（tmid）分布非常分散时，简单取平均会产生一条被拉伸变形的宽S形，其参数不再稳定反映任何单一机制，而是成了任务分布的统计特性摘要。

此外，当某些任务有明确的时间节奏——比如每天固定一次数据更新，或有固定的提交冷却周期——时，对数时间轴的假设就不再成立，应该考虑其他时间变换方式。

研究团队还特别提醒：公式中的Smax应该被理解为"在当前时间窗口和当前评测条件下的可达分数上限"，而不是某个绝对的能力天花板。随着交互时间延长或者环境条件变化，这个上限本身可能也会移动。

说到底，这项研究做的事情，是第一次系统地证明了AI智能体在真实环境中"边干边学"这件事是有规律可循的，而不是随机噪声。那条R?高达0.998的对数S形曲线，不只是一个好看的拟合结果，它背后是一套关于"已掌握的能力如何帮助解锁新能力"的机制理论。

更值得关注的是"每三个月学习速度翻倍"这个趋势。如果这个趋势持续下去，意味着一年后的AI智能体，其在真实任务中的学习效率将是今天的约16倍。这不只是实验室里的数字，它意味着越来越多的真实工作场景将有可能由AI自主完成——从复杂的软件工程项目，到前沿数学定理的形式化验证，到需要大量领域知识的金融分析。

研究团队已经公开发布了EdgeBench中的51个任务和完整的评测框架，为后续的研究者提供了一个标准化的研究平台。有兴趣深入了解的读者可以通过论文编号arXiv:2607.05155v1查阅完整的研究细节，或者访问项目主页edge-bench.org获取开放的任务数据和工具。

一个值得每个关注AI发展的人认真思考的问题是：当AI从环境中学习的速度已经可以被精确预测和量化时，我们应该如何规划AI与人类协作的工作方式？一条可预测的学习曲线，意味着对于特定类型的任务，我们可以提前估算出"给AI多少时间，能期望它达到什么水平"——这种可预测性，或许正是大规模部署AI完成复杂工作的前提条件之一。

Q&A

Q1：EdgeBench测试平台评测的是AI的什么能力？

A：EdgeBench评测的不是AI在训练阶段学到的固有知识，而是AI在被部署到真实任务环境后，通过与环境交互、获取反馈来持续改进自己的能力。简单说，就是"边干边学"的能力。平台设计了双重反馈机制，既允许AI快速本地测试，也通过权威评测容器给出隐藏测试数据上的真实成绩。

Q2：对数S形学习曲线的三个参数分别代表什么意思？

A：公式S(t) = Smax / (1 + (tmid/t)^β)中，Smax是这个模型在当前任务上理论可达的成绩上限；tmid是达到这个上限一半所需的交互时间，tmid越小说明模型越快进入爆发期；β控制曲线的陡峭程度，β越大说明进步越集中在某个时间段内，越小说明进步更均匀地分布在整个学习过程中。

Q3：AI学习速度每三个月翻倍的结论是怎么得出的？

A：研究团队从EdgeBench中选取了18个任务组成子集，条件是所有模型在初次尝试时得分相近（平均约6.87分），以确保起跑线一致。然后对2025年9月到2026年4月间发布的多款模型分别测试，记录每个模型在2小时内的得分提升幅度。从最早的GPT-5-Codex到GPT-5.5，这个提升幅度在221天内增长了约8倍，对应的指数倍增周期约为三个月。