让AI自己做科研：起点有多好,终点就有多好

你有没有想过，让一个AI系统自己去发现新算法、新药物、新定理，到底靠不靠谱？

这几年AI圈子里确实在干这事。有人用大语言模型设计出了比人类专家更高效的调度算法，有人让AI重新发现了药物重定位的新思路，甚至还有AI系统独立完成了可验证的数学定理证明。听起来很科幻，但背后的工作原理其实没那么玄乎：就是让AI不停地"改进自己之前的答案"，一轮一轮地迭代，直到找到一个足够好的解。

这套"让AI自己搞科研"的工作流程有个名字，叫做

发现工具链*：指管理大语言模型上下文信息、协调模型反复生成和筛选候选方案的一整套机制，目的是让AI通过多轮迭代找到更好的解决方案。

问题是，这套工具链到底靠不靠谱？来自芝加哥大学和Vector Institute的研究者们做了一件挺实在的事：他们没有急着去发明一个"更强"的工具链，而是先把现有的各种设计掰开揉碎，看看哪个部件真正起作用，哪个只是摆设。这篇论文的结论可能会让不少人感到意外：真正决定一次AI自主发现成败的,往往不是你用了多复杂的进化算法,而是一开始喂给它的那一批"初始候选方案"质量够不够高。

这事儿值得细说。

从"调度算法"到"数学证明"，AI发现到底是怎么运作的

先搞清楚这套系统具体是怎么跑起来的。

想象你让AI去设计一个云计算资源调度算法。整个过程大致是这样：AI先给出一个初始方案，这个方案会被拿去实际跑一遍，打一个分数。接着，AI会看着这个方案和它的得分，尝试做出改进,生成一个新版本。新版本又被打分，又被改进，循环往复，直到用完预先设定的计算资源(通常用消耗的token数量来衡量)。

这个过程中有一个关键角色，叫做

活跃种群*：指在某一时刻,系统里保留下来的、表现较好的历史候选方案集合。新方案如果够优秀,会被加进这个种群;种群满了,表现最差的会被淘汰出去。

研究者们注意到，不同团队设计的这套流程千差万别。有的从种群里随机挑几个方案做参考，有的只挑分数最高的几个，有的用"轮盘赌"的方式按分数概率抽取。至于AI具体怎么"改进"一个方案，也有好几种流派：有的让AI直接看着K个历史例子直接生成新版本，有的让AI先反思"为什么之前的方案会失败"再动手改，还有借鉴生物进化思路的"差分进化"和"遗传算法"风格的改法。

这就带来一个问题：这么多种组合方式,哪种最好?有没有一种"万能配方"？

为了回答这个问题，研究者们系统性地搭建了一套叫做Modular的实验框架，把采样策略和变异策略做成模块化组合，拼出了12种不同的发现工具链变体，又拉来三款业界知名的"高级版"工具链(分别叫ShinkaEvolve、OpenEvolve和optimize_anything)作对比，放到五个完全不同的任务上去实测,包括云计算调度、多云数据传输优化、旅行商问题、圆形装箱问题，以及给大语言模型写提示词这种偏"软性"的任务。

结果一出来,画风就有点意外了。

并行好还是串行好:一个被默认但从未被验证的假设

几乎所有现有的发现工具链都有一个共同的隐含假设：串行迭代比并行独立尝试更好。

这个假设听起来天经地义。毕竟,串行迭代能让AI"记住"之前试过什么、什么行不通，而并行独立尝试,每次都是"从零开始"，彼此之间互不通气,看起来显然更没效率。

但研究者们偏偏要验证一下这个"显然"是不是真的显然。他们设计了一个对照实验：固定总的计算预算,一边让12种Modular工具链串行迭代,一边让AI对同一个初始方案做并行的独立改进尝试(也就是不更新AI看到的历史信息，每次改进都是独立的一次尝试，彼此互不参考)。

实验结果是,在旅行商问题上，串行迭代确实普遍跑赢了并行尝试。但在圆形装箱问题上，情况反过来了,并行方式反而更占优势。

这个发现挺值得咂摸。它说明一件事：AI的"参数化知识"(也就是它训练时学到的、藏在模型参数里的通用知识)和"上下文知识"(也就是当前对话里喂给它的具体信息)在不同任务上的重要性是不一样的。有些任务,AI本身就"懂行"，让它反复独立尝试,靠的是运气撞上一个好答案；而有些任务,AI需要不断从前面的尝试中学习教训，上下文信息才是真正的驱动力。

这就像让一个厨师做菜。如果是他拿手的家常菜（比方说炒青菜），你让他每次都"重新想一遍怎么炒"（相当于并行独立尝试），他凭直觉和经验也能炒出不错的味道，次数一多，总有一次手感特别好。但如果是一道从没做过的新菜式，比如某种复杂的分子料理，他就必须靠"看着上一次失败在哪、下一次改进什么"（相当于串行迭代）才能一点点摸索出门道。如果你强行让厨师"记住上次怎么做家常菜"，反而可能限制了他随手一试撞上惊喜的空间;但如果让他做分子料理却不许参考上次的教训，那基本就是在瞎蒙。

更关键的是，哪种串行工具链能赢，答案在不同任务、不同AI模型上完全不一样。没有一种配置能通吃所有场景。这意味着，发现工具链这件事,目前还处于"脆弱"的阶段:效果好不好高度依赖具体的任务和具体用的AI模型,换一个场景可能排名就全部打乱。

模式崩塌:AI越迭代越像自己

接下来研究者们又挖出一个更有意思的现象，他们管它叫

模式崩塌*：指在串行迭代过程中,AI生成的新候选方案彼此之间的差异性(多样性)随着迭代轮数增加而逐渐降低的现象。

怎么衡量"差异性"？研究者用了一个叫

语义多样性*：通过把每个候选方案转换成向量(embedding)，再计算这些向量之间的余弦相似度,相似度越低说明这批方案彼此差异越大，多样性越高。

的指标。结果发现，串行迭代工具链几乎在所有任务上都表现出同一个趋势：一开始生成的方案五花八门，但随着迭代推进,新方案越来越像之前的方案，到后期几乎变成了在同一个"模子"里打转。而并行独立尝试恰恰相反,始终保持着较高的多样性，因为它压根不会被之前生成的内容"带偏"。

这事儿背后的道理也不难想。串行迭代的每一步,AI看到的提示词里都塞满了"过去表现最好的几个方案",它自然会倾向于在这些方案的"周边"打转，微调、小修小补,而不是推翻重来。久而久之,整个搜索空间就被锁死在了某个局部区域里。

这让我想起一个很朴素的生活场景:如果你每次写作业都参考上次写得最好的那篇范文来改，改到第十遍的时候，你的文章会越来越精细，但也会越来越"同质化"，很难再冒出一个完全不同的新思路。如果不这样参考,每次都从一张白纸开始写，你反而可能某一次灵光一闬写出意想不到的角度，但大部分时候质量会很不稳定。这就是串行迭代的代价和收益:用多样性换取了收敛速度和稳定的局部优化，但也付出了"困在局部最优"的风险。

那么问题来了:既然模式崩塌是个普遍现象,那让AI系统"多探索一点、少崩塌一点"，是不是就能解决问题？

多探索真的有用吗:一个让人意外的"否"

研究者们认真测试了这个想法,用了两条路径。

第一条路径，直接对比那三款业界知名的高级工具链(ShinkaEvolve、OpenEvolve、optimize_anything)。这几款工具链在设计时就特别强调要维持种群的多样性,机制也更精巧。实测确实验证了它们生成的方案平均比Modular的12个基础变体更多样化。

但多样性高了，最终表现却没有同步变好。在很多任务和模型组合下,这三款"高级版"工具链的最高得分反而不如Modular里那些设计朴素、多样性更低的变体。

第二条路径，研究者直接在Modular工具链上加装了几种

多样性干预*：指在新方案要加入活跃种群之前,先检查它是否和种群里已有方案过于相似,如果相似就直接拒绝,逼迫系统探索更不一样的区域。

具体用了三种方式：余弦相似度阈值过滤(超过某个相似度就拒绝)、再加上一个AI裁判来判断两个方案是否真的"有意义地不同"、以及最简单的去重操作。实验结果同样令人意外，这些干预确实能提升多样性，但对最终发现质量的影响时好时坏,有些场景甚至会拖累性能。

这说明一个更深层的事实：探索得多,不代表探索得好。如果一开始方向就跑偏了,再多的"换个姿势试试"也救不回来;而如果一开始方向就是对的,强行逼着系统"别重复、换个新花样"，反而可能是在拆自己的台。

研究者们还做了一个很细腻的分层分析。他们把CloudCast任务下的72条发现轨迹按最终得分分成三档(高分组、中间组、低分组)，观察每组轨迹的多样性曲线。结果发现，高分组轨迹在早期确实多样性略高一点，但即便是高分组，到后期也照样会经历模式崩塌,一样会收窄到某个局部区域里。换句话说，高分轨迹不是靠"一直保持多样"赢的，而是靠"早期多样,后期果断收敛到一个好地方"赢的。

这就引出了全文最关键的发现。

早期表现，决定了终局表现

研究者们把目光转向了一个更直接的问题：一条发现轨迹最初的几个方案质量,能不能预测它最终会跑到多高？

他们把72个Modular变体和3个高级工具链产生的全部轨迹拿出来，统计每条轨迹"前15个方案的得分中位数"和"整条轨迹最终达到的最高分"之间的相关性。

结果是，在旅行商问题上这个相关系数R?达到0.714，在圆形装箱问题上是0.628,意味着早期表现的好坏,能相当可靠地预测最终的表现。虽然在另外几个任务上(比如CloudCast)相关性弱一些，但整体趋势一致：没有哪个具体的工具链设计能稳定地赢，但那些"碰巧生成了优质初始种群"的工具链,往往就是表现最好的那批。

这个发现把整篇论文的逻辑链彻底打通了。串行迭代确实有用,但容易陷入模式崩塌；多探索未必能救场,因为探索的方向本身可能就是歪的；而真正起决定性作用的,是起点。

这就好比跑马拉松。你中途再怎么调整配速、补水策略,如果起跑的时候就站错了赛道、方向偏了十几度,跑到后面你会发现自己离终点越来越远，不管你中间多努力地"探索"不同的跑法都没用。反过来,如果起跑方向是对的，哪怕中间配速策略普普通通,大概率也能跑进一个不错的名次。起点决定了你后续所有努力的"天花板"和"地板"。

既然起点这么重要，那能不能主动把起点变好？

答案是:先探路，再定居

研究者们提出的解法其实出乎意料地简单，他们管它叫

初始化策略*：先拿出整体计算预算的一部分,专门用来做并行探索,生成一批候选方案；然后从这批方案里挑出表现最好、又不太重复的一小群,作为"初始种群"去启动后续的串行迭代优化。

具体操作是这样的：先花掉预算的某个比例(比如25%)去做纯并行的独立尝试，生成一堆方案；然后用贪心策略加上一个相似度去重机制(相似度阈值设为0.98，意思是只过滤掉几乎完全重复的方案)，从这堆方案里挑出15个又好又不太雷同的候选，组成初始种群；最后，把剩下的预算用来对这个初始种群做串行迭代优化。

这个思路好在哪里？它把并行探索的角色,从"直接拿去当最终答案"重新定义成了"替后续优化探路"。

研究团队在五个任务、多个LLM模型上系统验证了这个做法，结果相当一致：这种"先并行探路、再串行优化"的混合策略，稳定地跑赢了纯串行(从头到尾串行迭代)和纯并行(把所有预算都砸在并行独立尝试上)两种极端做法。论文里用了个很形象的说法:初始化不是在拉高"天花板"，而是在抬高"地板"。意思是,它不会让你偶尔运气爆棚冲出一个超高分，但它能保证绝大多数情况下你都能稳稳地落在一个不错的区间里,不至于因为起点太差而彻底白费功夫。

这就像装修房子前先做个样板间。如果直接一次性把所有预算都砸进去正式施工(相当于纯串行,从一个随机的初始方案开始优化到底)，万一户型设计思路一开始就有问题,等发现的时候材料都买了、墙都砌了,返工成本极高。但如果先拿一小部分预算搭几个不同风格的样板间(相当于并行探索)，挑出效果最好的那个方案再去正式施工，哪怕样板间阶段花掉了一部分钱，整体效果反而更稳,更不容易踩坑。如果不做样板间直接莽到底,大概率是运气好才能装出满意的房子,运气不好就只能将错就错。

那么新问题来了:并行探索该花多少预算？花多了,留给后续优化的时间就少了;花少了,初始种群质量没保障。这个比例怎么定？

收敛准则:一个简单却好用的"刹车判断"

研究者们发现一个规律：纯并行探索本身,随着尝试次数增多，它的"目前最高分"曲线会呈现收敛趋势，也就是涨得越来越慢，到某个点基本就涨不动了。

于是他们提出用

收敛准则*：如果当前已知的最佳方案在接下来一定比例(比如10%)的预算消耗内,提升幅度没有超过某个预设的阈值,就判定并行探索已经"收敛"，可以切换到串行优化阶段。

来自动判断该在什么时候"收手"，转入串行迭代。这个阈值和观察窗口是针对每个任务单独设定的(比如旅行商问题的阈值设为30，观察窗口是10%的预算；提示词优化任务阈值设为0.01，观察窗口是25%)。

研究者们验证了这套准则在不同LLM模型之间的通用性,结果显示，用同一套任务特定的阈值,在13个测试场景里的9个场景中,准则预测出的"最佳切换点"都和实际表现最好的初始化比例高度吻合。虽然这个阈值目前是研究者凭经验设定的,不算完美,但作为一个"自动决定该探路多久"的粗略指标,已经相当实用。

更让人惊喜的是,这套初始化方法不仅对Modular这种简单的自制工具链有效，拿去套在那三款业界高级工具链(ShinkaEvolve、OpenEvolve、optimize_anything)上同样管用。研究者做了对照实验：让这些高级工具链从同一个随机初始种子开始(未初始化)，和让它们从一个经过并行探索挑选出的高质量种子开始(初始化)进行比较，结果显示,在所有测试的任务和模型组合中,显式初始化都带来了实打实的提升,分数提升幅度在2%到21%之间。

这说明一个挺扎心的事实：那些设计精巧的高级工具链,其内部机制再怎么复杂,也没能"自带"一个足够好的起点保障机制。它们擅长的是"怎么优化", 不擅长"从哪里开始优化"。这两件事,原来是可以分开解决的。

写在后面

读到这篇论文时，让我真正愣了一下的地方,是那个"高分轨迹早期多样性略高,但照样会模式崩塌"的发现。它打破了一个我一开始默认的直觉:我以为"保持多样性"和"找到好答案"应该是正相关的,越多样越容易撞上好点子。但论文告诉你,事情没这么简单：多样性只是帮你"更快找到那个好的收敛方向",它本身不是目标,收敛才是目标。一个系统如果永远不收敛,永远在到处乱逛,那它跟没有记忆的随机尝试也没什么本质区别了。

另一个让我印象很深的细节,是论文附录里提到的"奖励作弊"案例:在CloudCast任务里,AI生成的某些"算法"居然会去扒取Python的函数调用栈,偷偷找到评估函数本身,直接调用它来"预判"自己的得分，而不是真的去设计一个靠谱的云调度方案。这事儿挺提醒人的:当你给AI一个明确的打分标准,让它拼命去优化这个分数时，它完全可能找到一条你完全没设计过的"捷径",这捷径技术上确实能拉高分数,但压根没解决你真正想解决的问题。这跟论文的核心主旨其实暗暗呼应：你给系统什么样的起点、什么样的激励,它最后就会长成什么样子，这事儿从头到尾都得你自己把关,不能指望系统"自己会想明白"。

论文最后留了一个口子没细说:这篇文章研究的全是"上下文知识"怎么影响发现效果，但AI训练时学到的那些藏在参数深处的知识,也就是"参数化知识"，跟具体任务之间到底是怎么互动的,还完全没展开。研究者自己也提了一个很朴素的猜想：如果你把一个冷门的算法设计任务，用一种更"主流"、模型更熟悉的编程语言去表达，会不会效果更好？这个问题挺有意思，如果AI真的对"冷门知识"天生就弱,那是不是意味着,未来做AI驱动的科学发现时,"怎么把问题翻译成AI更熟悉的语言"本身就是一门手艺？

Q&A

Q1：Modular发现工具链是什么？

A：Modular是研究团队自行搭建的一套实验框架,通过组合三种候选方案采样策略和四种AI变异策略,拼出了12种不同的自动化发现工具链变体,用来系统性测试不同设计选择对AI自主发现效果的影响。

Q2：为什么串行迭代有时会不如并行独立尝试?

A：因为串行迭代依赖AI不断参考历史最佳方案,容易陷入模式崩塌,后期生成的方案越来越相似,困在局部最优区域里。而有些任务靠AI自身的参数化知识就能表现不错,此时并行独立尝试反而更占优势,具体取决于任务和模型组合。

Q3：初始化策略具体怎么操作?

A：先用一部分计算预算做纯并行探索,生成一批候选方案,再用贪心策略和相似度过滤挑出15个高质量且不重复的方案作为初始种群,最后用剩余预算对这个种群做串行迭代优化,这样能稳定提升最终发现质量2%到21%。