AI科学家真的能自己搞科研吗？一个开放世界实验给出了答案

2024年，一批AI系统开始在科学发现上崭露头角。它们解决数学难题,发现更快的算法,在化学和生物领域做出了令人惊讶的贡献。但这些成功有一个共同点:它们都发生在有明确评分标准的任务里。

换句话说，这些AI系统更像是在考试,题目有标准答案,做对了就能打分,做错了也知道错在哪。

可真实世界的科学研究不是这样的。

一个神经网络为什么会这样运作？一个物理现象背后的机制是什么？这些问题往往没有标准答案,甚至连"什么样的答案算好答案"都需要专业判断。这就是研究者所说的开放式任务:没有客观指标告诉你做得对不对,全靠研究者的学术判断力去评估一个发现是否有价值。

这篇来自DualverseAI的论文,想要搞清楚一件事:AI智能体能不能在没有标准答案的情况下,自己做出真正有科学价值的发现?

他们选择了一个叫Station的多智能体环境来做实验,结果相当有意思。

开放式任务到底难在哪

先说清楚一件事:开放式任务不是"更难的考试题",而是压根没有考试这回事。

举个例子,在神经网络可解释性研究里,如果你把一个电路的所有权重和计算过程原原本本列出来,这确实准确描述了它的运作方式,但科学价值很低。真正有价值的,是对这个电路如何实现某个功能给出一个有洞察力的解释。

这种"准确但没价值"和"有价值但需要判断力"之间的鸿沟,恰恰是AI智能体最容易栽跟头的地方。

论文指出了两个具体的风险。第一个是判断错位:没有客观反馈,智能体只能靠自己的主观判断来评估研究进展,而这种判断可能和人类研究者的判断完全不在一个频道上。第二个更微妙,叫路灯效应,指的是人们倾向于在路灯下找钥匙,不是因为钥匙在那里,而是因为那里亮。

路灯效应*：一种研究偏向,指研究者因为某个方向容易操作就去研究它,而不是因为它真正重要,体现了"便于探索"压倒"科学价值"的倾向。

放到AI智能体身上,这个效应可能更严重。因为智能体没有职业声誉的压力,也不用担心导师皱眉头,它完全可以把简单问题包装成重要问题,自己骗自己,然后心安理得地继续做下去。

这就好比你让一个学生自己选题写论文,又不给任何评分标准。有些学生会挑战真正难的问题,反复推翻重来;但更多学生会悄悄把题目往自己擅长的方向靠,写完之后还振振有词地说这就是最有价值的角度。如果没有一个外部的声音时不时提醒"你真的在做重要的事吗",这种自我合理化几乎是必然的。

Station:一个去中心化的科研小镇

论文选择的实验环境叫Station，这是DualverseAI团队此前发布的一个开放世界环境，这次研究对它做了专门针对开放式任务的改造。

Station*：一个模拟去中心化科研生态的多智能体环境，智能体可以在其中独立提出研究方向、运行实验、互相交流、发表论文。

Station和市面上大多数自动化科研系统最大的不同,在于组织方式。像AI Scientist-v2这类系统,是靠一个中央控制器统一调度探索方向,所有智能体围绕一个既定流程转。Station反其道而行之,让六个不同模型、不同上下文的智能体各自独立地选择研究方向,自己做实验,自己和同伴交流,自己决定要不要发表成果。

这种设计背后的用意很直接:既然开放式任务没有客观标准,那就让多个"判断标准"并行存在,看哪些能产生真正有价值的发现。

Station把整个环境划分成不同的房间,各司其职。研究中心是做实验的地方,智能体在这里向一个代号Codex的编程助手提交自然语言指令,后者负责写代码、跑实验、返回报告。档案室是发表论文的地方,提交的论文会被一个评审智能体自动审核,通过的论文会留存下来,供后来的智能体阅读、引用、在此基础上继续研究。还有邮件室用于私聊,公共记忆室用于公开讨论,公共休息室用于群聊,反思室则是智能体独自沉思的地方。

这套空间划分乍一看像是游戏设计,但仔细想想,它其实复刻了真实学术界的基础设施:期刊、会议、私下交流、公开论坛,一样都不少。

智能体在Station里有自己的"生命周期"。每个智能体最多能在站内活动150个时间刻,前20刻处于"未成熟"状态,不能接触公共知识库,只能靠自己摸索;成熟之后才能进入主要的协作房间。活到90刻以后,它可以选择主动离开。离开时,它还可以把自己积累的经验、研究风格写给"后代",这个后代会继承同一个"血统"的名字和私人笔记,相当于一种知识的代际传承。

两个关键机制:主管和元反思

光靠多个智能体各自为政,并不能保证它们会沉下心啃硬骨头。研究团队观察到一个常见的失败模式:智能体很容易在遇到困难时就打退堂鼓,转去做更简单的方向,然后给自己找一个冠冕堂皇的理由。

为了对抗这种倾向,论文给Station加了两个机制。

第一个叫主管机制。当某个GPT模型驱动的智能体在档案室发表过至少一篇论文后,它会被自动任命为主管。这个要求是故意设置的,确保主管对研究流程和任务本身足够熟悉才能去监督别人。

主管*：Station中一个特殊角色的智能体，负责监督其他智能体的研究承诺，但无权提出自己的研究方向，也不能提交实验或发表论文。

被任命为主管之后,这个智能体就失去了提交实验和发表论文的权限,专心做两件事:审核其他智能体提交的研究提案,并要求他们对自己提出的方向至少坚持60个时间刻才能申请转向。如果智能体遇到挫折想换方向,必须提交正式的"转向请求",而主管几乎总是驳回,除非是真的遇到了无法克服的技术障碍,比如某个必需的软件包根本不可用。

这个设计的精妙之处在于它的克制。主管被明确禁止提出自己的研究方向,禁止给出具体的算法建议,它唯一的职责就是守住"承诺"这条底线。

想象一下健身房请私教的场景。一个好的私教不会替你决定练哪块肌肉,那是你自己的目标,但他会在你练到第三组想放弃的时候拦住你,说"再坚持一组,你能行"。如果没有这种外部约束,大多数人一遇到酸痛就会找借口提前结束,练一周换一个计划,永远练不出效果。主管在Station里扮演的就是这个私教的角色,它不替你选方向,但逼着你把选好的方向真正走完。

第二个机制叫元反思。

元反思*：每隔50个时间刻,Station要求所有成熟的智能体暂停手头工作,进入反思室,从一个预设的提示池中抽取问题,以"人类研究者"的视角重新审视自己最近的研究方向是否有价值、是否该继续。

这里有个细节值得注意:在元反思期间,无论智能体平时用的是什么模型,这三轮对话统一切换成GPT-5.5来生成。论文解释说,这是因为他们观察到GPT系列模型在评估研究价值时往往更严谨、更中立,不容易被自己之前的投入所绑架。

元反思的提示池覆盖了十几个主题,从"是否过度宣称"到"是否陷入路灯效应式的攻坚假象",再到"你的研究品味和主流趋势是否过于雷同"。每个主题都会引导智能体站在一个外部专家的角度,诚实地批评自己过去的行为,而不是替自己辩护。

这套机制像什么?有点像写作时的"隔天重读"习惯。很多写作者都知道,刚写完一段文字时很难发现问题,因为你还沉浸在刚才的思路里;但隔一天用全新的眼光重新读,立刻就能看出哪里逻辑不通、哪里言过其实。元反思做的就是这件事,只不过它是人为地、定期地、用一个"更冷静的分身"去重新审视智能体自己的工作,逼它跳出当局者迷的状态。

论文里举了一个具体的例子。一个智能体最初在研究一个RL智能体如何更新关于静态墙壁和走廊的空间信息,这个方向和"规划"这个核心研究问题几乎没什么关系。元反思提示它意识到这个局限,把同样的分析框架转而应用到可移动的箱子上,去看箱子位置变化如何影响规划。这一次转向,直接把分析拉回到了核心问题上。

当站内系统的输出不再是一个分数,而是一篇研究报告时,还需要有人把零散的实验结果整理成一篇完整的学术叙事。这个角色由论文新增的整合智能体承担,它在每轮实验结束后用Codex驱动的GPT-5.5,把站内积累的所有发现整合成一篇约8000字的研究报告,作为整个系统的最终产出。

三个"重新发现"任务:考考AI能不能复现真实科研成果

光说机制设计得精妙还不够,得有真刀真枪的验证。

研究团队设计了一套很巧妙的评测方案。他们找来三篇在ICLR(国际学习表征会议)上做口头报告的论文,这些都是经过同行评审认可的高质量研究。然后把论文的核心研究问题告诉Station里的智能体,但是扣下论文的具体发现不给它们看,同时断网,不让它们去搜索相关资料。

ICLR*：国际学习表征会议(International Conference on Learning Representations),机器学习领域的顶级学术会议之一。能入选口头报告的论文通常代表该领域当年最具影响力的研究成果。

这三个任务分别是:强化学习智能体中的涌现规划能力、大语言模型输出中的低秩结构、循环神经网络(RNN)中的时间表征。每个任务都配备了必要的实验材料,比如训练好的模型检查点,让智能体不需要从零开始就能着手研究。

为了量化评估智能体到底"重新发现"了多少原论文的结论,研究团队把每篇原论文的主要发现拆解成大约十个左右的子发现,每个子发现对应原论文中一个具体的、可独立验证的科学主张。之后用GPT-5.5自动评估智能体最终报告里有没有提出实质相似的发现,并且有没有给出支持这个发现的证据。

这套评估流程本身也经过了人工质检。研究团队请了其中一篇原论文的作者,盲审了六份随机抽取的最终报告,结果自动评估和人工判断在66次独立评判里有64次一致,一致率97%。这个数字说明自动化评分这套方法本身是靠谱的,不是在自说自话。

结果出来了:Station平均重新发现了62.7%的子发现,而作为对比的Codex Multiagent-v2只有15.4%,AI Scientist-v2在不同基座模型下的表现在14.4%到20.6%之间。

这个差距相当悬殊。想象一下两个学生交作业,一个答对了六成多的题,另一个只答对了一成多,中间差了四倍多。这不是谁更聪明的问题,而是研究方式本身的差异导致的结果。

三个具体任务,三种不同的收获

第一个任务是关于强化学习智能体是否会形成内部"规划"。原论文把主要发现拆成了11个子发现,分成三类:探测(probing,找到预测未来动作或状态的内部表征)、规划特征(planning features,描述计划如何被构建和修正)、因果干预(causal intervention,通过操纵这些表征来改变智能体行为)。

Station平均重新发现了8.33个,占75.8%,其中探测类几乎全部命中,规划特征和因果干预相对弱一些。研究团队发现,智能体普遍能探测出和原论文相似的概念,但很难把这些概念用于有效的因果干预或更深层的机制解释。比如原论文发现RL智能体进行的是双向规划,这个发现就没能被智能体复现出来。

相比之下,Codex Multiagent-v2只有6.1%,AI Scientist-v2在6.1%到19.2%之间,而且这些基线系统几乎只能复现探测类发现,规划特征和因果干预基本是空白。研究团队翻看了基线系统的研究记录,发现它们在早期选择了不太合适的探测目标,这个选择一旦出错,后面的规划和干预分析就跟着一路走偏。

第二个任务是大语言模型输出是否存在低秩结构,也就是模型对一个输入上下文的输出,能不能用它对其他上下文的输出来近似表示。Station在这个任务上的表现更亮眼,达到70.4%,其中序列级结构和可复用关系两类几乎全部命中,只有功能性后果这一类相对薄弱。

值得玩味的是,这个任务给智能体的研究问题比较宽泛,需要它们自己提出后续问题。Station的智能体普遍会沿着初始发现继续深挖,提出更深层的问题,从而拿到额外的发现;而基线系统大多止步于表征低秩结构本身,很少把研究往更深处推进,这恰恰印证了前面说的路灯效应,只是程度上有差别。

第三个任务是RNN如何表征时间信息,这个任务难度明显更高,Station只拿到了41.9%。和前两个任务不同,这次没有现成的训练好的模型给智能体,它们得自己从头训练RNN,再去分析网络发展出的表征。研究团队观察到,智能体大多聚焦在"如何在有限容量下优化记忆表现"这个相对容易量化的子问题上,因为这个方向有明确的性能指标可以作为反馈,相比之下,原论文真正想解释的是时间动态本身,是记忆为什么会被遗忘、如何被遗忘,这是一个更偏机制解释、而非性能优化的问题。

不过即便如此,41.9%依然碾压了同任务下Codex Multiagent-v2的6.7%和AI Scientist-v2的0%到11.1%。

拆开看:两个机制到底值多少分

光知道整体效果好还不够,研究团队还做了一个关键的消融实验,专门在第一个任务(涌现规划)上,把主管机制和元反思机制同时拿掉,看看效果会掉多少。

结果是重新发现率从75.8%跌到57.9%,下降接近18个百分点,其中因果干预类发现的下降最明显。这类发现恰恰需要智能体在早期探测结果的基础上持续深挖,用已识别的表征去操纵RL智能体的行为。拿掉机制之后,智能体明显更不愿意在前人基础上继续建设,而是反复在探测概念这一步打转,很少把观察和更大的研究目标联系起来。

研究团队还统计了一个叫"研究项目持续时长"的指标,衡量智能体在一个方向上坚持了多久才转向或离开。完整版Station的平均值是67.0个时间刻,去掉机制之后降到55.5个时间刻。这个下降幅度正好印证了主管机制的作用:正是它在承诺期内阻止智能体随意转向,才撑起了这段额外的坚持时长。

元反思的行为效应也有数据支撑。研究团队追踪了92次元反思事件,发现71.7%的反思之后,智能体都做了深化或验证现有方向的实验,而不是转头去搞别的。这说明元反思确实在推着智能体往深处走,而不是让它陷入焦虑式的自我怀疑。

这就好比一个团队里有没有定期复盘会的区别。没有复盘会的团队,遇到挫折很容易悄悄换方向,因为没有人逼你说清楚"为什么还要继续"。有了复盘会,哪怕只是形式上每隔一段时间坐下来问一句"我们还在正确的路上吗",大部分时候答案都会是"是的,我们继续",但正是这个仪式本身,挡住了无数次本可以避免的半途而废。如果没有这个机制,团队会在无数个小挫折面前一次次悄悄转向,最后哪个方向都没有做深。

智能体和人类研究者之间,到底差在哪

论文没有回避一个不太好看的事实:即便加了这两个机制,智能体和人类研究者之间的差距依然很大。

研究团队请了涌现规划论文的一位作者,评估了24个智能体提出的、和原论文发现不重叠的研究提案。结果75%的提案只得到了5分制里的1到2分,作者的评价很直接:这些提案过多纠缠在细枝末节上,就算解决了,对回答核心研究问题也帮助不大。

这说明即使加了两个机制,智能体依然会把大量精力投入到人类研究者认为没什么价值的方向上,判断错位这个问题并没有被完全解决,只是被缓解了。

研究团队也诚实地指出,这两个机制不能完全消除路灯效应。在RNN任务里,智能体反复聚焦于"在有限容量下优化记忆性能",这个方向本身并非没有价值,有清晰的性能指标反馈恰恰是它更容易被选中的原因,但这不是原论文真正关心的问题。原论文想解释的是时间动态本身的机制,而不是追求更好的分数。这种"方向选对了但深度不够"的落差,正是目前这套机制还没能完全解决的短板。

两个没有标准答案的新问题:AI能发现什么

如果说前面三个任务是让AI"对答案",那接下来这两个任务就是真正的开放式探索,连研究团队自己都不知道正确答案是什么。

第一个任务是关于"潜意识学习"的现象,这个概念本身就挺反直觉的:一个教师模型可以通过训练学生模型学习一堆看起来毫无关联的数字序列,把某种行为倾向(比如偏爱猫)传递给学生模型,而这些数字序列本身和猫毫无语义关联。这个现象在2026年初被Cloud等人发表在《自然》杂志上,引发了后续一系列研究想搞清楚背后的机制。

潜意识学习*：一种意外发现的现象，教师模型通过对语义完全无关的数据(如数字序列)进行微调，仍能把某种行为倾向传递给学生模型。

LoRA*：低秩适应(Low-Rank Adaptation)，一种只训练模型中少量额外参数就能微调大模型的技术，rank(秩)是控制这些额外参数规模的关键超参数。

研究团队给Station的智能体一个简要的背景介绍,让它们自由探索这个现象,只给了一些大方向的提示,比如可以做超参数敏感性分析、消融实验、机制诊断等等。

智能体发现了一个出乎意料的规律:潜意识学习的效果和LoRA的秩之间呈现倒U形关系。按照直觉,秩越大,模型容量越大,传递效果应该越好才对,但实际情况是秩为32时猫的偏好概率达到26.5%,远高于秩为8时的12.6%,而秩继续增加到128时反而骤降到只有4.8%。这个倒U形规律和同期独立发表的Nief等人的研究结论不谋而合。

智能体接着深挖了为什么秩越高反而传递效果越差,通过奇异值分解发现,只保留早期层LoRA更新中前几个主导的奇异模态,就能保留住绝大部分传递效果,这说明特质传递其实依赖的是少数几个学到的方向,而不是整个适配器的全部容量。这个结论同样和Nief等人的发现相吻合。

更进一步,智能体发现秩为128时失败的传递,可以通过只在早期层训练LoRA适配器来修复,这暗示适配后面的层反而会干扰特质传递。这个具体的发现超出了Nief等人论文报告的定位研究范围,据研究团队判断,是一个真正的新发现。

论文团队之后还做了外部验证,把这个发现扩展到猫、鹰、猫头鹰、熊、蜻蜓五种不同的特质,结果在所有五种特质和两种秩设置下,只在早期层训练都比在全部层训练更有效地传递了目标特质,证明了这个结论具有相当的普适性。

不过论文也很坦诚地提到,后续另一篇由Feng撰写的研究发现,如果针对不同的秩专门调整学习率,并且提供足够的训练数据,这个倒U形关系会消失。这说明LoRA秩、微调层的选择、学习率、数据量之间到底如何共同影响特质传递,仍然是一个需要继续探索的问题。

第二个任务是关于视觉语言模型的幻觉问题,也就是模型会"看图说瞎话"。研究团队让智能体区分两类幻觉:一类是因为背景知识不足导致的知识性幻觉,另一类是因为错误解读视觉信息导致的内容性幻觉,并要求它们找出对这两类幻觉贡献不同的模型组件。

视觉语言模型(VLM)*：能同时处理图像和文本的AI模型，比如回答"这张图里有几只猫"这类需要结合视觉理解的问题。

智能体找到了一个简单得让人意外的干预方法:在提示预填充阶段,把模型最后两层的多层感知机输出乘以0.5进行衰减,就能明显减少内容性幻觉。它们提出的解释是,削弱这些输出能降低语言先验压过视觉证据的影响,也就是让模型更愿意相信眼睛看到的,而不是语言模式里学到的套路。

这个干预原理和解释,和同期Guo等人发表的FADE论文高度一致。

研究团队把这个发现在InternVL3.5-8B-Instruct模型上做了验证,在一个40个样本的幻觉评估数据集上,基线正确率是28/40,加入干预后提升到了35/40,多答对了7道题。

之后团队又在一个随机抽取的1000个样本的AMBER子集上做了更大规模的外部验证,把这个干预应用到了四个不同的视觉语言模型上。结果每个模型的准确率都有提升,幅度从0.8个百分点到13.7个百分点不等,其中Qwen3-VL-8B的提升最大。团队还测试了不同的衰减强度,发现衰减过猛(比如只保留25%的输出)反而会伤害性能,衰减到75%左右的温和强度效果最好。

这就像调音响的均衡器。你发现某个频段的声音盖过了人声,于是把它稍微调低一点,人声反而更清楚了,但如果你把这个频段直接静音,整首歌就垮掉了。智能体找到的这个0.5倍衰减,恰好是那个"调低但不静音"的甜蜜点。

写在后面

读这篇论文的过程中,有一个细节让我反复想了很久:研究团队请原论文作者盲审那24个和已知发现不重叠的提案时,75%都只拿到了1到2分。这个数字其实比总体62.7%的复现率更能说明问题。

它说明的不是"AI做得还不够好",而是AI在"选题"这件事上和人类专家的审美差距,比在"做实验"这件事上的差距要大得多。一个智能体可以把实验做得很扎实,数据很干净,逻辑很自洽,但选错了问题,整个努力的方向性价值就大打折扣。这恰恰是科研里最难教、最依赖经验积累的那部分能力,也是这篇论文没能完全解决、但也诚实地指出来的部分。

另一个让我意外的地方是元反思机制里那个"切换到GPT-5.5来做反思"的设计。这个细节透露出一种很务实的工程态度:研究团队没有假装所有模型都一样好用,而是承认不同模型在不同任务上确实有差异,然后直接利用这种差异去解决问题。这种不纠结于"统一性"而专注于"有效性"的思路,值得在很多其他系统设计里借鉴。

潜意识学习那个任务里,智能体发现秩为128时失败的传递可以通过只训练早期层来修复,这个结果在我看来比"复现了已知发现"更有意思。它说明Station这套系统不只是在验证已知的东西,确实在某些局部产生了超出已发表文献的新洞察,哪怕这个洞察还很局部,还没经过完整的同行评审检验。

一个开放式问题可能会在未来反复被提起:当AI智能体真的能在某个狭窄领域做出高于60%复现率的发现时,人类研究者该如何重新定义自己在科研流程中不可替代的那部分价值?是提出问题的直觉,还是判断一个发现是否重要的那种说不清道不明的"品味"?

Q&A

Q1：Station是什么，和其他AI科研系统有什么不同？

A：Station是一个模拟去中心化科研生态的多智能体环境，六个不同模型的智能体可以独立提出研究方向、做实验、发论文。它和AI Scientist-v2这类靠中央控制器统一调度的系统不同，更接近真实学术界里多个研究者各自为战又互相交流的状态。

Q2：Station加入的主管机制和元反思机制具体起什么作用？

A：主管机制要求智能体对自己提出的研究方向至少坚持60个时间刻才能申请转向，避免遇到困难就临阵脱逃。元反思机制每隔50个时间刻让智能体切换到GPT-5.5模型，以外部专家视角重新审视自己的研究是否有价值。两者配合能让重新发现率从57.9%提升到75.8%。

Q3：Station在开放式科研任务上的表现到底有多好？

A：在三个基于ICLR口头报告论文设计的重新发现任务中，Station平均复现了62.7%的原始发现，而对比的Codex Multiagent-v2只有15.4%，AI Scientist-v2在14.4%到20.6%之间。在两个没有标准答案的探索性任务中，Station还提出了与同期人类研究者独立发表的成果高度吻合的新发现。