AI能不能自己让自己变得更聪明：一个关于预测和反思的实验

2022年底，有一件事挺有意思。当时大家都在讨论大语言模型能不能自己改进自己，于是出现了各种"自我反思"的方法，让模型看看自己做错了什么，然后重新再来一次。这类方法在数学题、代码生成上确实管用，模型多试几次，分数蹭蹭往上涨。

但你把这些方法拿到机器人控制、化学实验、GUI操作这些需要真实世界反馈的场景里一试，立刻傻眼。

为什么？因为数学题你让模型自己检查一遍答案，几乎不花钱。可如果是让机器人去真实验室做一次实验呢？一次实验可能要几个小时,几百美元的试剂。模型想"多试几次来改进自己"，试一次就得花真金白银，试错空间被死死摁住了。

这就是这篇论文要解决的问题：当外部反馈很贵、很慢的时候，怎么让一个系统还能持续变聪明？

**反馈太贵这件事,听起来抽象，但换个场景你马上能体会到**。

假设你在学做菜，每次炒一盘菜都得买菜、生火、动手炒、尝味道，一次试错成本是半小时加一堆食材钱。如果你能先在脑子里"模拟"一遍，大概猜到这个火候配这个调料会是什么味道，再决定要不要真的下厨，你试错的效率会高很多。真正炒的那几次，也会更有针对性。

论文里提出的核心思路，就是给AI装一个这样的"脑内模拟器"。

世界模型*：一种能够根据当前状态和一个候选动作，预测出接下来会发生什么结果的模型。它不是真的去执行，而是"想象"执行后的样子。

这篇论文的作者来自PhAI Labs、香港中文大学、上海交大、复旦、牛津、斯坦福、北大等多家机构，他们把这套系统叫做**RSI-Anything**。RSI三个字母，全称是"Recursive Self-Improvement"，翻译过来是"递归式自我改进"。

递归自我改进（RSI）*：指一个系统把每一轮交互中积累的经验，转化成持久性的能力提升，并且这个提升会持续影响下一轮的决策，像滚雪球一样越滚越大。

那这个系统具体是怎么运作的呢，咱们一点点拆开看。

先预测，再出手：为什么要让AI"脑补"结果

RSI-Anything的底层是一个叫JEPA-Anything的预测基础模型，它干的事情说白了就是：给定当前情况和上下文，预测出接下来的"潜在状态"会是什么样。

这里有个专业设计叫正交预测因子分解（OPF，Orthogonal Predictive Factorization）：把要预测的目标拆成几个互相独立、不重叠的因子，分别训练预测器去猜每个因子，最后再把这些猜测拼回一个完整的预测结果。

简单理解就是：与其让一个模型硬猜"接下来会怎样"这种笼统问题，不如把问题拆成几个小问题分别猜，猜完了再组装。这样每个小预测器的任务更聚焦，准头也更高。

这套机制在代码修复任务里是怎么用的？流程是这样的：先让一个7B参数的代码模型（ReasonFlux-Coder-7B）针对一段有bug的代码，生成四个候选修复方案。接着，世界模型会对这四个方案分别预测它们执行后大概率会是什么结果，是通过测试，还是报错，还是运行超时。模型根据这些预测打分排序，挑一个最有希望的方案真正拿去执行，看看实际结果和预测的符不符。

**这就好比你去修一台坏掉的电器，有四种可能的修法，与其四种都真的动手拆开试一遍，不如先凭经验猜猜哪种最可能成功，优先试那个。**

如果不这么做会怎样？论文里专门做了对照实验：如果完全随机挑一个候选方案去执行，最终在隐藏测试集上的成功率是26.0%；换成一个固定不变的静态打分器，成功率是26.3%，提升非常有限。而引入了世界模型预测来做候选排序之后，成功率跳到29.2%。这两三个百分点的提升，背后其实是候选方案排序准确率从66.5%涨到72.8%，而且用来衡量预测可信度的指标Brier分数从0.488降到了0.358（这个分数越低说明预测越靠谱）。关键是，三种方法用掉的在线测试调用次数几乎一样，都在3.7次左右，等于是花同样的钱，办了更多的事。

Brier分数*：一种衡量概率预测准不准的指标，数值越低代表预测的概率分布跟真实结果越吻合。

预测会过时：模型要跟着经验一起进化

但光有预测还不够。

这篇论文提出一个很值得琢磨的矛盾：你如果去改进负责生成候选方案的那个策略模型，它生成的候选方案分布就变了，原来世界模型是在旧的候选分布上训练出来的，现在碰到新分布的候选方案，它的预测可能就不准了。反过来，如果你去改进世界模型本身，它给出的排序结果变了，又会反过来影响策略模型该学哪些数据。

两个组件互相牵制，谁改进了都不能保证整体变好。

**这就像两个人一起划船，一个人突然改变划桨节奏想加速，另一个人还按老节奏划，结果船反而开始打转。**

论文给出的解法是设立一套"可靠性检查"机制。世界模型不是一股脑地跟着反馈瞎更新，而是先看看自己最近的预测准不准，如果发现预测已经"不靠谱"了（比如预测结果和真实结果对不上的比例升高），并且手头积累的数据和预算都够，才会触发一次模型适配更新。

更新之后也不是直接拿来用,系统会做组件检查（看单独的策略或模型是不是真的变好了）和配对兼容性检查（看新策略和新模型搭配在一起，整体表现是不是真的比原来的组合好）。只有两关都通过，这次更新才会被保留下来，进入下一轮循环；但凡有一关没过，系统就保留原来的版本，继续用老组合。

这套机制在代码修复任务里带来了实打实的收益：在固定了代码生成模型、只是让世界模型跟着执行反馈持续适配之后，隐藏测试成功率从29.2%进一步提升到31.2%，在线测试调用次数几乎没变化（3.72次）。两个百分点的提升，是在"花同样的钱"的前提下拿到的。

GUI操作里，AI学会了少走弯路

代码修复是个相对封闭的场景，论文还测试了更贴近日常使用场景的图形界面（GUI）操作任务。

一个经典测试叫click-checkboxes，就是让AI在网页上勾选指定的复选框然后提交，听起来简单，但AI很容易点错、重复点、或者提交了错误的选项。

在没有经过任何强化的基线配置下，成功率是51%。经过RSI-Anything用交互反馈更新策略和世界模型之后，中间配置提升到79%，最终配置达到99%。更有意思的是动作效率：平均每轮操作的动作数从5.30次降到3.21次，降幅接近四成；重复点击次数从237次直接归零；提交错误的次数从9次降到1次。

**这个数据背后其实藏着一个容易被忽略的细节**：

中间那版配置虽然动作数降到最低（2.93次），但犯了21次提交错误，比基线还多。最终配置动作数比中间配置略多（3.21 vs 2.93），但错误几乎消失。说明如果只盯着"效率"这一个指标去优化，可能会牺牲掉"准确性"，真正好的系统得在两者之间找平衡，而不是单纯地让动作越来越少。

在更复杂的OSWorld环境（模拟真实电脑桌面操作）里，RSI-Anything相比一个叫RLAnything的强化学习系统，任务成功率又多出5.5%的相对提升；相比最初始的未优化版本，提升幅度达到18.4%。

实验室里的AI，版本越迭代越懂行

接下来这个场景，离普通人的生活更远一点，但也更能说明问题：实验室任务规划。

论文用了一个叫LabHorizon的基准测试，它要求AI在遵守试剂、仪器、操作顺序等约束的前提下，完成两类任务：一类是看懂视觉场景选出下一步该做什么（Level-1），另一类是生成一整套符合标准操作规程的动作序列（Level-2）。

研究团队追踪了同一个40亿参数（4B）策略模型，在一个持续自我改进过程中的五个连续版本，在同一个200道题的测试集上反复打分。结果是这样的：21.80%、38.03%、41.99%、44.56%、46.01%。从第一版到最后一版，分数翻了超过一倍，整整提升了24.21个百分点。

这组数字最打动人的地方，不是最终分数有多高，而是它是一路稳步爬升的，没有大起大落，说明每一轮保留下来的改进是真实、可持续积累的，而不是运气好蒙对了一次。

更值得一提的是，这个仅仅4B参数的小模型，最终版本的Level-2分数（46.01%）甚至超过了一个专门搭建的参考系统（45.32%），这个参考系统用的是经过训练的350亿参数模型外加Gemini 3.1 Pro做模拟评估。小模型靠持续自我迭代，反而追上甚至超过了规模更大的组合系统。

化学实验室：AI挑选反应条件，比贝叶斯优化更省实验次数

化学合成优化是一个经典的"每次尝试都很贵"的场景。研究人员想找出某个Suzuki-Miyaura偶联反应（有机化学里很常用的一种碳碳键连接反应）的最佳催化剂、碱、溶剂组合，但每换一组条件就得真的做一次实验，用气相色谱（GC）或液相色谱质谱联用（LC-MS）去测产率。

贝叶斯优化*：一种经典的黑箱优化方法，专门用来在实验代价很高、无法穷举所有可能性的场景下，通过已有的实验结果推测下一步最该尝试哪个条件。

论文拿RSI-Anything和贝叶斯优化在相同的实验预算下正面比较。在用GC分析的那组实验里，限定20次实验，RSI-Anything找到的最佳产率是93.0%，贝叶斯优化是87.5%，差了5.5个百分点。在用LC-MS分析的流动化学实验里，限定40次实验，RSI-Anything的平均最佳观测产率达到96.15%，贝叶斯优化只有82.16%，差距拉大到接近14个百分点。

这里面用到的预测模型，是把一个专门做化学反应预测的ReactionT5模型，和JEPA-Anything的预测架构结合在一起，构造出一个能根据反应物和候选条件预测产率分布的工具。每做一次真实实验，测得的产率都会反过来帮助这个预测器调整，让它对下一次该选哪个条件的判断更准。

**这跟老练的厨师试菜很像**。新手厨师可能需要把所有可能的调料组合都试一遍才能找到最好吃的那个配方，而老师傅凭经验尝一两次就能大致判断方向，越试越准，不用把所有组合都浪费掉。

免疫科学：从预测模型到一个具体的治疗假说

最后这个应用场景，是整篇论文里跨度最大的一个,从代码、界面、实验室规划、化学实验，一路延伸到免疫学研究。

研究团队搭建了一个端到端的免疫科学工作流，分三层。第一层是让一个叫Agent Genesis的系统自动搜索科学智能体的工作流程和模型配置，最终选出一个负责构建模型的智能体工作流程。第二层是这套工作流产出的"免疫世界模型"，它能表示细胞、组织、个体三个层级的免疫状态，并且预测施加某个具体干预（比如某种细胞因子、基因扰动、候选药物）之后会发生什么。第三层是一个分析智能体，拿着这个固定下来的预测模型，去协调模拟、评估、调用工具、修正分析、给候选假说排序这一整套流程。

在这个流程的最后，经过自我修正（排除了一批筛选出来但站不住脚的细胞因子配对候选方案），系统最终给出了一个具体的治疗假说：联合使用SIRPα抑制剂和IL-36γ轴调节,这个假说还没有经过实验验证，但它是整套系统从头到尾、一步步推理出来的一个可以被实际检验的科学猜想。

这个案例最有意思的地方在于，它展示了这套"预测-反馈-保留"的机制，不只能用来修代码、点按钮，甚至能一路延伸到生成具体的、可供湿实验验证的生物医学假说。

这套系统到底解决了什么根本矛盾

回过头看，整篇论文其实在回答一个很朴素的问题：当你没法无限次试错的时候，怎么让一个AI系统还能持续变聪明？

答案不是让它更"努力"地试，而是给它一个"预判"的能力,先在脑子里推演一遍，把有限的真实试错次数，用在最有希望的地方。同时，这个预判能力本身也要跟着真实反馈不断校准，否则预判会和现实越走越远。

Q&A

Q1：RSI-Anything是什么？

A：RSI-Anything是一个通用的AI自我改进框架，它用预测性的世界模型来指导动作选择和学习数据筛选，让AI系统能在反馈成本高昂的真实场景下持续变聪明。

Q2：RSI-Anything在代码修复任务上效果如何？

A：在固定代码生成模型的情况下，引入世界模型预测选择后成功率从26.3%提升到29.2%，再经过世界模型自适应调整后进一步提升到31.2%，且测试调用次数基本不变。

Q3：RSI-Anything和传统的贝叶斯优化相比有什么优势？

A：在化学反应条件优化实验中，相同实验预算下RSI-Anything的平均最佳产率达到96.15%，而贝叶斯优化只有82.16%，差距接近14个百分点。