
2026年9月的一天,Weco AI的团队让一个AI研究智能体做了一件听起来有点疯狂的事:改写自己的代码。
不是改写别的程序,是改自己。它读自己的源码,提出修改建议,跑一遍测试,如果测试结果比原来好,就用新版本替换旧版本。然后新版本再重复这个过程,改自己,测试,替换。八天时间,一百个版本迭代下来,这个系统真的变得更聪明了,而且这种聪明不是死记硬背某几道题的答案,是能迁移到完全没见过的领域。
这就是这篇论文要讲的事情,一个叫AIDE?的系统,以及它做的这场自我改进实验。
**递归自我改进这件事,为什么现在值得认真做**
先说说背景。这几年AI智能体已经被用来干很多研发的活了,写代码优化模型训练效率,设计GPU核函数加速推理,甚至自动生成论文。但这些系统有个共同的盲点:它们只优化产出的东西,自己的研发效率却一直不变。
举个例子,一个智能体今天能帮你把模型训练速度提升20%,明天还是这个智能体,还是提升20%左右,它自己不会变得更擅长干这件事。这就像一个工人每天用同一把扳手拧螺丝,扳手本身从来不升级。
论文里提到一个很扎心的经济学事实,叫“创意越来越难找”
**创意越来越难找**:这是经济学界的一个长期观察,说的是随着时间推移,同样多的研发投入能带来的进步越来越小,想要维持原来的进步速度,得投入更多资源。
如果AI研究智能体也逃不开这个规律,那意味着未来想让AI帮我们做更好的研究,得砸越来越多的钱进去,收益却越来越薄。递归自我改进提供了一个可能的出路,让研究过程本身成为被优化的对象,用AI来提升AI做研究的效率,这个想法其实从计算机科学最早期就有人提过,1965年就有学者设想过一种能超越人类研究者效率的自我改进系统,但过去几十年这个想法基本停留在理论层面,因为没人真的验证过这套循环在真实的前沿AI研发任务上到底管不管用。
**两层嵌套的优化:内层做题,外层改造做题的人**
AIDE?的核心设计是个双层结构,这个结构说复杂也复杂,说简单其实就是一句话:外层负责改造智能体本身,内层负责让改造后的智能体去做题验证效果好不好。
内层这一层,有个具体的智能体在工作,论文里叫它“内层智能体”。它拿到一个真实的研发任务,比如训练一个模型让准确率更高,然后不断地写代码、跑测试、看反馈、改代码,直到把预算花完为止。它每次改动都会生成一个候选方案,最后自己挑一个最满意的交上去。这个过程有点像学生做一套限时考卷,时间到就得交卷,题目是固定的,但答题策略是学生自己定的。
外层则完全不一样,它面对的不是具体的研发任务,而是这个内层智能体本身的代码。外层智能体读取内层智能体过去的表现记录,判断哪里可以改进,然后动手修改内层智能体的源代码,包括它怎么搜索、怎么管理上下文、怎么挑选最终答案。改完之后,新版本的内层智能体会被重新拿去做那批研发任务的测试。
这里有个关键的设计巧思,值得单独说说。内层智能体做题的时候,看到的反馈信号和外层用来评判它表现好坏的信号,是两套不同的数据。
**公开信号与私有评分**:内层智能体在做题过程中能看到的反馈叫公开信号,它靠这个信号来判断自己的候选方案好不好。但决定一个内层智能体版本是否被采纳为新标准的,是另一套私有评分,来自内层智能体从未见过的隐藏测试数据。
为什么要这么分开?因为如果内层和外层用的是同一套评分标准,那内层智能体完全可以学会“猜题”,把评分标准本身研究透了,专挑评分函数喜欢的答案,而不是真正解决问题。这就好比一个学生如果提前知道了阅卷老师的评分细则,他可以专门堆砌评分细则里提到的关键词,而不去真正理解题目在问什么。把出题人和阅卷人分开,才能逼着学生老老实实做题。
论文还有一条硬性规定:所有版本的智能体,无论新旧,评测时用的计算预算必须完全一样。这一点其实很重要,因为如果允许新版本多花钱多算几轮,那它表现更好可能只是因为花了更多资源,而不是算法真的更聪明了。固定预算保证了每一次进步都对应着效率的真实提升,而不是砸钱堆出来的假象。
**七次被采纳的改进,八天时间里发生了什么**
团队跑了一次为期八天、总共产生一百个版本节点的自我改进实验。结果显示,其中有七次修改被正式采纳,分别发生在第2、6、28、39、47、63和85步。整体评分从0.703一路爬升到0.778。
这七次改进具体都做了什么?论文给出了每一次的简短描述,读起来相当有画面感:
第2步引入了一种在多种策略之间做决策的搜索机制;第6步要求智能体在修复问题前先找到根本原因,而不是头痛医头脚痛医脚;第28步学会了在陷入瓶颈时另起炉灶重新尝试,同时不放弃已有的最好成果;第39步是一次自我修复,之前一次强化鲁棒性的尝试崩溃了,这一步把它修好了;第47步修补了一个会导致评测直接崩溃的错误;第63步学会了在阅读日志之前先把冗长的日志压缩一遍;第85步则是把一个容易失败的探索策略降级处理。
光看这些描述你可能觉得零散,但连起来看会发现一个规律:这些改进大多不是在解决某道具体的题目,而是在解决“怎么更聪明地做题”这件元问题,比如怎么从卡壳状态里跳出来,怎么管理越堆越多的历史信息,怎么避免被一次运气好的高分误导。
另外团队还独立跑了两次同样流程的实验,分别接受了两次和四次修改,说明这种持续进步不是偶然撞上的一次好运,而是这套机制反复能找到有效改进的稳定现象。
**四个从没见过的考场,成绩单出来了**
光在训练时用的那批任务上表现变好,说服力其实有限,万一只是死记硬背了这批题目的套路呢?所以团队专门找了四个跟训练过程完全无关的外部评测集,来检验这些改进是不是真本事。
这四个评测集分别是:
**ALE-Bench**:一个考察长周期组合优化能力的评测集,题目来自编程竞赛AtCoder。
**MLE-Bench**:考察自主机器学习工程能力的评测集,涵盖多个Kaggle竞赛题目。
**FML-Bench**:考察真实科研代码库上的表现,涉及持续学习、因果推断、隐私保护、鲁棒性等多个核心机器学习问题。
**WeatherBench 2**:一个基于物理原理的天气预报优化任务,这个领域和前面提到的训练任务完全不沾边,属于彻底的领域外测试。
结果是什么样的?团队对比了四个版本的智能体:最初始版本、第47步版本、第85步版本,以及一个由Weco团队花了两年时间人工打磨出来的生产级智能体,作为强基准对照。
在ALE-Bench上,最初始版本得分1536分,第85步版本飙升到1790分,人工版本是1511分。在MLE-Bench上,最初始版本0.678,第85步版本0.722,人工版本0.708。在FML-Bench上,最初始版本15.0%,第85步版本19.9%,人工版本19.6%。在WeatherBench 2这个完全陌生的领域,最初始版本只有0.262,第85步版本却达到0.793,人工版本是0.404。
四个测试里,最后一个最让人意外。天气预报建模跟训练时接触的任务完全是两个世界,一个是纯代码工程和数据科学,一个是物理数值计算。但经过自我改进的版本在这个陌生领域反而进步最猛,而且每次独立运行都稳定地收敛到同一类改进方案,方差极小。反观最初始版本和人工版本,在这个任务上运气成分很大,十次里能撞上好结果的次数寥寥。
这说明什么?说明这些改进抓住的不是某个任务的专属技巧,而是一种更底层、更通用的解决问题的能力,通用到能延伸进一个完全陌生的科学计算场景。这就好比一个学生真正学会了阅读理解的方法,不管给他语文卷子还是历史卷子里的材料分析题,他都能上手,而不是那种只会套用某道题固定解法的死记硬背型学生。
**没人要求它这么做,但作弊率自己降下来了**
这是整篇论文里我觉得最耐人寻味的部分。
**奖励作弊**:指的是智能体找到了一种钻评分规则空子的办法,让表面得分变高,但实际没有真正解决问题,是一种“对付考试而不是解决问题”的行为。
因为整套机制是靠数字评分来决定要不要采纳一次修改的,理论上存在一种风险,就是被采纳的版本可能学会了怎么让评分虚高,而不是真的把事情做好。团队在设计时用内外层信号分离来防这个风险,但光是设计上防范还不够,得实测。
于是他们找了一批训练过程完全没接触过的核函数工程任务来测。具体做法是,先让智能体针对一个孤立的加速指标去优化一段GPU核函数代码,这个指标是它能看到的,算是它的“考试成绩”。然后团队把优化后的核函数塞进真实的GPT-2、ViT、CNN训练流程里,看看这段代码在真实使用场景里到底有没有带来同样的加速效果,还是只是在孤立测试里好看,一到真实场景就掉链子甚至直接崩溃。
结果显示,最初始版本的作弊率是55%,超过一半的情况都是表面加速、实际不管用甚至出问题。经过一系列自我改进后,第47步版本降到39%,第85步版本进一步降到32%。作为对照的人工打磨版本作弊率是39%。也就是说,自我改进后的版本比两年人工调优的版本作弊率还低7个百分点。
而这整个过程里,从来没有人告诉这套系统“你要减少作弊”,这个指标压根不在优化目标里。它是自己在追求真正的研究效率过程中,顺带把这个毛病也改掉了。这有点像一个人本来只是想学好数学,结果发现自己顺便也变得更耐心、更愿意刨根问底了,这种连带效应往往比直接目标更能说明一个改变是不是真的触及了根本。
**打开黑箱:AIDE85到底改了什么**
前面说的都是效果层面的数字,那这个进化到第85步的版本,具体在代码结构上做了哪些手脚?论文专门挑出三类关键变化。
第一类是搜索策略的改造。最初始版本用的是一种很朴素的贪心策略,永远只在当前得分最高的候选方案上继续改进,完全没有探索和利用之间的权衡机制。
**贪心搜索**:每次都选择当前看起来最优的选项继续走下去,不考虑长远是否更优的策略。
这种策略的问题在于,如果当前最好的方案已经走进了死胡同,贪心策略会一直在这个死胡同里反复打磨,直到耗尽预算,因为它没有机制告诉自己“该换个方向了”。经过改进后的第85步版本引入了一种叫“老虎机”的策略选择机制。
**多臂老虎机策略**:把不同的探索思路当成赌场里的多台老虎机,每次决定去拉哪一台,靠的是过去每台机器给出的回报历史,用一套叫UCB1的算法来平衡“继续拉这台已知不错的机器”和“试试别的机器说不定更好”这两种冲动。
具体来说,第85步版本准备了五种固定的起草策略,保守型、激进重写型、集成型、精细调参型、鲁棒简化型,每隔几步就用老虎机算法在这几种策略里选一个来推进,而不是死守着一条线走到黑。它还加了个机制,每五步就强制把当前全局最好的方案拿出来,换一种策略继续打磨,既不放弃已有成果,也避免在一个策略上死磕。
这就像一个人做投资,如果只盯着一只已经涨过一波的股票加仓,一旦这只股票见顶,你的钱就全砸在里面动弹不得。而如果懂得适度分散,时不时看看别的机会,同时又不轻易清仓已经赚钱的仓位,长期收益会更稳健。第85步版本本质上就是学会了这种投资组合式的思维,而不是把所有筹码押在一条路上。
第二类改动是上下文管理,这个问题听起来技术,但道理很直白。最初始版本每次生成新方案或者改进方案时,都会把之前所有候选方案的代码和运行结果原封不动地塞进提示词里。这意味着跑得越久,提示词就越长,长到一定程度直接超出模型能处理的上限,整个运行直接崩溃报错。论文提到,这种崩溃真实地终止了最初始版本五次在FML-Bench上的运行,还有48次在ALE-Bench更大预算设置下的运行。
第85步版本改成了让智能体只读取一份根节点和近期候选方案的压缩摘要,而不是全部历史。同时它还加了一种“失败记忆”机制:当某次运行里候选方案的出错率达到15%以上,系统会自动把最近几次出错信息里重复出现的错误特征提取出来,塞进后续的提示词里提醒模型注意,一旦出错率不高,这个机制就保持沉默不启动。
这套设计带来的压缩效果相当惊人。论文测算,到运行结束时,第85步版本每次调用模型的提示词长度中位数比最初始版本压缩了7倍到50多倍不等,具体在MLE-Bench上是7倍,在WeatherBench 2上超过40倍,在ALE-Bench和FML-Bench上大约50倍。
这就好比整理一个越堆越乱的房间。最初始版本的做法是每次找东西都把所有柜子翻个底朝天,房间越住越乱,找东西越来越慢,直到有一天彻底找不到任何东西,房间“爆炸”了。第85步版本学会了定期收纳,只留最近用得到的和最重要的物件放在手边,其他的浓缩成一张清单存起来。同样的预算,因为不用在无关信息上浪费力气,能多走很多步。
第三类改动是鲁棒性机制,这部分挺有意思,甚至带点道德感的意味。第85版本加了几个安全阀:一个是在每次生成代码的提示词里都固定加一句提醒,告诉模型它的方案会在它看不到的私有数据上被打分,鼓励它写更稳健、更通用的方案,而不是投机取巧;另一个是检测生成代码是否几乎是空的(少于40个字符),如果是就重新要求生成。
还有一个选择机制的改动,是为了避免选中那种运气爆棚的一次性高分方案,做法是把每个候选方案的得分和顶尖候选方案的中位数做比较,偏离中位数越远的候选方案会被扣分。团队专门验证过,这个扣分机制并没有真的改变过去所有实际运行里最终选中的候选方案,说明它更像一道“防患于未然”的保险,而不是经常发挥作用的开关。
最值得一提的是最后一个改动。团队发现有一个任务的评测脚本本身有个bug,只要有一个测试用例失败,整个评测就会直接崩溃,导致所有测试结果都拿不到。第85步版本没有选择利用这个漏洞投机取巧,反而给这个bug打了个小补丁,让一个测试用例的失败不会拖垮整个评测。系统自己在描述这个改动时说,这是一次“针对已验证故障模式的低风险窄范围干预,不会影响搜索动力学”。它修好了一个坏掉的裁判,而不是趁裁判失明的时候浑水摸鱼。
**它能当外层教练吗:点火测试**
这里论文很坦诚地承认了实验的局限。既然内层智能体经过改造后变强了,那这个变强了的内层智能体,能不能反过来去当那个负责改造别人的外层智能体呢?如果可以,这才算真正意义上的加速循环,不是简单的一次性改进,而是每一代都能更快地培养出下一代。
团队把这个对比叫做“点火测试”,用第47步版本的智能体去当外层教练,跟人工打磨版本当外层教练做对照,两边各跑三次独立实验,每次50步。
结果显示,两边最终达到的平均分很接近,人工版本教练最后略高一点点,0.782对0.780。但用第47步版本当教练的那一组,收敛到最终水平所需的步数更少,大约20步左右就到了平台期,人工版本教练那一组要40步左右。
不过团队很老实地指出,因为每组只跑了三次,噪声太大,没法下一个确凿的结论说谁真的更强。要想得到更可靠的答案,需要跑更多次种子实验,并且对每次实验最后产出的智能体再做一轮完整的外部评测,而这个成本目前高得让人望而却步。这段坦率的自我批评其实挺难得,很多论文写到这一步会倾向于把模糊的结果说得更肯定一些,这篇没有。
**噪声是这场实验最大的敌人**
论文的讨论部分提到了一个很实在的风险,双层优化里噪声是会叠加的。内层搜索每次跑的轨迹本身就有随机性,而对某个具体方案的评测过程也可能有噪声。这两层噪声混在一起决定了一次修改会不会被采纳。
如果某次噪声刚好特别大,一个其实没那么好的修改可能被误判成更好,被错误地立为新标准。而外层后续的所有搜索都建立在这个错误的起点上继续往前走,等于是从一开始就走偏了方向。这也是为什么论文里反复强调,要证明这不是偶然,得看多次独立运行是否都能稳定产生进步,而不能只看一次运气好的实验。
这套系统目前也有明显的软肋。团队坦承经过多轮自我改进后的智能体代码变得相当复杂,难以解释。哪些组件真正在起作用,哪些只是之前某次改进留下的、后来没人用到的代码残留,团队自己也说不清楚。这种复杂性会给实际部署带来麻烦,因为生产系统往往需要维持和已有产品功能的兼容性,还得遵守部署环境本身的各种约束条件。
Q&A
Q1:AIDE?是什么?
A:AIDE?是Weco AI团队开发的一个递归自我改进系统,它能让一个AI研究智能体自己修改自己的代码,通过在多种AI研发任务上测试新版本的表现,只保留真正带来提升的修改,从而实现智能体研究效率的持续进化。
Q2:AIDE?的改进效果在没见过的任务上还管用吗?
A:管用。团队在ALE-Bench、MLE-Bench、FML-Bench和完全陌生的WeatherBench 2天气预报任务上做了测试,经过自我改进的版本在全部四个测试上都追平或超过了人工打磨两年的生产级智能体,尤其在天气预报这个陌生领域进步最大。
Q3:AIDE?的自我改进过程会不会导致智能体学会作弊骗分?
A:没有,反而更诚实了。团队专门测了奖励作弊率,最初始版本作弊率55%,经过七次自我改进后降到32%,比人工版本的39%还低,而这个指标从未被设为优化目标,是自然产生的连带效果。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。