麻省大学团队让AI学会"做实验"：当语言模型遇到未知领域，靠猜不如自己动手试

这项由麻省大学阿默斯特分校（University of Massachusetts Amherst）SCALAR实验室主导的研究，于2026年6月28日发布，论文编号为arXiv:2606.29315v1，分类为cs.AI方向。有兴趣深入了解技术细节的读者，可通过该编号在arXiv平台上查阅完整论文。

**研究概要**

如果你问一个刚毕业的大学生如何在陌生城市找到最好吃的餐馆，他大概会先用手机查一查，然后挑评分最高的去。但如果这个城市太偏僻，网上根本没有相关资料呢？这时候聪明的做法是——自己走出去，逐一品尝，根据每次的体验调整下一步的选择，慢慢积累出真正有用的经验。

当前的大型语言模型（俗称AI聊天机器人）面临的困境与此如出一辙。这些模型通过海量人类文字"学习"了大量知识，但当遇到训练数据中没有覆盖的新领域，或者需要解决那种"知道原理但无法精准操作"的问题时，单靠记忆里的知识便力不从心了。就好比你背熟了所有烹饪书，但从来没有真正进过厨房，让你做出一道需要精确火候和时机把握的菜，仍然可能一败涂地。

麻省大学阿默斯特分校的研究团队正是为了解决这个困境而开展了这项工作。他们提出了一个名为"层级实验主义者智能体"（Hierarchical Experimentalist Agents，简称HExA）的全新框架——让AI不再只是被动地"背书"，而是主动地像科学家一样"做实验"：提出假设、动手验证、从失败中学习、将经验整理成可复用的技能，并在面对新任务时把这些技能迁移过去。

为了客观衡量这套方法的效果，研究团队还配套设计了一个名为INTERPHYRE的测试平台。这是一个二维物理仿真环境，里面有各种需要通过反复尝试才能解决的物理谜题——光靠"背过物理课本"根本解决不了，必须亲手"做实验"才行。测试结果相当令人印象深刻：在最难等级的谜题上，基础模型Claude Sonnet 4.6的成功率仅有2%，而配备HExA框架后，同一个模型的成功率跃升至77%。

**一、AI的知识困境：博学不等于能干**

回想一下中学物理课。你可能记得"杠杆原理"：支点两侧，力乘以力臂等于力矩，要想撬起更重的东西，就把支点靠近重物那边。这个原理你能背得滚瓜烂熟，但如果让你实际用一根木棍撬开一块卡死的石头，你会发现：木棍放哪儿、用多大的力、角度怎么调，这些都需要反复尝试才能摸清楚。"懂原理"和"会操作"之间，隔着无数次真实的动手经验。

当前的语言模型就处于这个尴尬的位置。它们通过训练，积累了涵盖各个学科的惊人知识量，在考试题、问答对话、代码编写等任务上表现出色。但这种能力本质上是一种"回忆能力"——它们能从记忆库里检索出相关知识，然后组合成看似合理的答案。一旦遇到训练数据中没有充分覆盖的新情况，或者那些需要精确感知当前环境状态才能正确行动的任务，这种"回忆式"方法就开始崩溃。

现有的补救方案，比如向模型输入额外资料（检索增强生成）或者让模型多想几步（思维链推理），在一定程度上有帮助，但它们都没有解决根本问题：知识仍然是静态的，模型无法针对当前任务主动收集新信息。这就像给那个从未进过厨房的学生塞更多烹饪书，而不是让他真正站到炉子前去练习。

麻省大学的研究团队认为，解决这个问题的正确方向，是赋予AI真正的"主动实验"能力。就像科学家在未知领域探索时那样：不是背诵已有知识，而是设计实验、观察结果、修正假设、再次实验，直到真正搞清楚这个新领域的运行规律。

**二、HExA框架的核心机制：让AI变成会学习的实验室**

HExA框架的核心思想，用一个比喻来说，就是把AI改造成一个配备了实验记录本的研究员。这位研究员不仅会做实验，还会在每次实验结束后认真整理笔记，把有用的发现写成简洁的操作手册，下次遇到类似情况时直接翻出来参考。

具体来说，整个系统由三个紧密协作的角色构成。第一个是"行动者"，它是直接面对任务的AI，负责提出假设、调用各种工具与环境互动、观察结果。第二个是"进化者"，它像一位资深导师，专门分析行动者做过的实验记录，从成功案例和失败案例中提炼出有规律性的经验，写成结构化的"技能条目"存入技能库。第三个是"检索者"，它在行动者开始新的任务之前，从技能库中挑出最相关的技能推送给行动者，让它站在已有经验的肩膀上展开新一轮探索。

技能库本身的结构也颇为讲究。每条技能记录都包含：这条经验叫什么名字、背后的物理或策略原理是什么、在什么情况下应该用、有没有具体例子可以参考、来源于哪些实验数据，以及这条经验的可信度评分。可信度评分与产生该经验的实验轨迹的"奖励值"挂钩——快速成功的实验贡献高分经验，反复失败后才勉强成功的贡献低分经验，纯粹失败的实验则贡献负分，但其中仍有价值的局部洞察依然会被单独提取出来。

这套奖励机制的设计颇为精妙。一个正确识别了关键机制但最终仍然失败的实验，其中"正确识别机制"这一步是有价值的，进化者会专门把这个局部正确的洞察单独提炼成一条"部分技能"保存下来。这是一种在纯粹成功案例中根本无法发现的学习信号——成功的案例只能告诉你"这样做对了"，但无法告诉你"哪些中间步骤是必要的，哪些只是巧合"。

技能库的容量设有上限，这迫使进化者必须不断做出取舍：保留哪些经验、淘汰哪些过时或低价值的条目、将相互印证的条目合并成更高层次的原则。这种淘汰和合并机制，让技能库随着实验轮次的推进，逐渐从零散的操作笔记演化为精炼的普遍原理。

**三、INTERPHYRE：专门为"实验能力"设计的考场**

为了客观测试HExA框架的效果，研究团队设计了INTERPHYRE测试平台。这个名字是"Interactive"和"PHYRE"的组合——后者是一个已有的2D物理谜题基准测试，前者则代表了INTERPHYRE的关键创新：让AI能够与谜题环境进行交互式实验。

INTERPHYRE里的谜题大概是这样的：屏幕上有一套由平台、杠杆、球、篮筐等元素构成的物理装置，AI的任务是决定在什么位置、以什么大小放置一个红球，使得整套装置运动后，绿球最终与蓝球接触。谜题的解法不是"背出来"的，因为每个随机种子生成的谜题配置都不同，必须通过实验来摸索。

INTERPHYRE提供了一系列工具接口，让AI可以像科学家一样操作实验。它可以查询当前场景的几何信息，可以运行部分仿真来观察中间状态，可以记录物体之间的碰撞事件，甚至可以做"如果我去掉这个物体会怎样"的反事实实验——也就是在仿真时间轴的某个节点上"存档"，然后分出两条支线：一条维持原状，另一条施加某种干预，对比两条支线的最终结果，以此判断某个物体或某个操作是否在因果链中扮演了关键角色。

研究团队将8个不同设计的谜题关卡分成两个难度梯队。前6个关卡属于基础梯队，大多数模型在没有任何辅助的情况下也能解决一部分。后2个关卡属于高难梯队：其中"传递包裹"关卡要求AI发现一套隐藏的斜坡-篮筐联动机制，"弹射器"关卡则需要通过杠杆将绿球精准抛入远处的篮筐。这两个关卡的核心挑战在于，正确答案没有办法从通用物理知识中直接推导出来，必须通过大量实验才能找到。

**四、实验结果：HExA的表现究竟有多显著**

研究团队测试了五种不同规模和类型的语言模型：顶级闭源模型Claude Sonnet 4.6、中等规模开源模型Qwen-2.5-7B和Qwen-2.5-14B、大规模开源模型GPT-OSS-20B和GPT-OSS-120B，以及一个完全随机放置红球的基准策略。每个模型在每个谜题上最多有25次交互机会。

在最难的"弹射器"关卡上，不做任何实验、只靠静态场景描述来猜答案的DIRECT基线中，Claude Sonnet只有2%的成功率，所有开源模型都是0%。即便用上ReAct框架（让AI能够与工具交互、但没有跨轮次的学习机制），Claude Sonnet也只能达到8%。加上Reflexion框架（在每次失败后让模型写一段反思文字，然后再试一次），成功率提升到约21%。但配备了HExA框架之后，Claude Sonnet的成功率跃升至67.3%，而且平均解题用时从ReAct的22.9次交互、Reflexion的21.2次交互，降低到了14.4次交互——不仅更准，而且更快。

值得注意的是，奖励信号的有无对HExA的效果有实质性影响。去掉奖励标签、让所有经验无差别地进入技能库时，成功率从67.3%下降到50.7%。这意味着HExA的核心优势不仅来自"积累了更多经验"，更来自"能够分辨哪些经验更值得信赖"。

对于小规模开源模型，HExA同样带来了显著提升。Qwen-2.5-3B在"下落至地面"关卡上从8%提升到24%，在"双体问题"关卡上从6%提升到14%。Qwen-2.5-7B在这两个关卡上的成功率分别从62%提升到72%、从18%提升到34%。GPT-OSS-120B在最难的弹射器关卡上从0%提升到54%。这表明HExA提供的不是某种只对顶级模型才有效的特殊技巧，而是一种具有广泛适用性的增强机制。

研究团队还详细比较了技能库的不同初始化和更新方式。技能库既可以从一批初始无技能实验中预热启动，也可以从空白开始纯在线学习，还可以在学习过程中冻结不再更新。更新策略也有两种：一种是每轮把新的实验经验"演化"进现有技能库（保留、修改、合并旧技能）；另一种是每轮完全用新数据重建技能库。实验结果显示，"先预热后演化"（Off2On + Evolution）的组合在几乎所有设置下都是最优的——弹射器关卡达到76%，传递包裹关卡达到60%。纯粹在线学习因为前期浪费大量轮次重新发现已知基础规律，而每轮重建技能库则因为丢弃了之前积累的普遍原则，都会带来明显的性能下降。

**五、技能会自动演化成层级结构：从零散笔记到通用原理**

HExA框架最令人着迷的特性之一，是技能库会随着时间推移自然形成层级结构——低层次的具体观察，会被进化者逐步提炼成更高层次的普遍原理。

以弹射器关卡为例，可以观察到这个过程是如何展开的。早期的实验可能记录下"在x=0.5、y=0.4位置放置半径1.5的红球，绿球飞得很远"和"在x=0.5、y=0.4位置放置半径2.0的红球，绿球飞得一样远"这两条零散观察。进化者在分析这两条记录后，会将它们合并成一条更高层次的原理："在x=0.5位置，增大半径超过1.5没有额外增益，因为杠杆臂的旋转已经饱和。"这条原理进一步与另一组"天花板碰撞"相关的实验记录合并，得出一条更普遍的策略："当在固定x位置调整半径陷入两难（小了飞不够远、大了撞天花板）时，停止调整半径，转而改变x位置来改变抛射角度。"

这种层级演化发生的原因，在于每一轮实验都是在已有技能库的基础上展开的。行动者在掌握了"半径饱和"这条经验后，会据此设计更有针对性的新实验；进化者在分析这些新实验时，已经知道"半径饱和"这条背景知识，可以直接在这个基础上提炼更高层次的洞察。这就像一个研究生，在导师指导下做了几年实验后，能够看到的规律会远比刚进实验室时更深刻、更系统。

这种层级结构的实际价值，在具体案例中体现得非常清晰。论文中详细展示了弹射器关卡第45个谜题的对比过程：ReAct框架下的AI使用了整整25次交互机会，尝试了各种不同位置的放置方案，最终仍然失败；而HExA框架下的AI，在技能库的引导下，第一次实验就正确识别了天花板碰撞问题，第二次实验直接切换到x=0.3的位置以改变抛射角度，第6次交互就成功完成了任务。成功的关键，正是技能库里那条层级化提炼出的"当天花板碰撞发生时，改变x而非增大半径"的原理。

**六、技能不只在同一关卡内有用：跨关卡零样本迁移**

HExA的另一个重要特性是技能的跨任务迁移能力。研究团队提出了一个大胆的问题：如果在简单关卡上积累的技能库，包含的不只是"这道题怎么做"的具体步骤，而是更普遍的物理原理，那么能否把这些技能迁移到从未见过的更难关卡上？

为了测试这个想法，研究团队选取了三个已经充分学习过的简单关卡——"下落至地面"、"双体问题"、"传递包裹"——的技能库，让进化者扮演"翻译者"的角色：阅读这三套技能库的内容，识别其中与目标关卡"弹射器"在物理机制上相通的原理，剔除特定于源关卡的坐标和物体信息，用弹射器关卡的实体和结构重新表述这些原理，生成一套专门为弹射器设计的"预制技能库"——全程不需要在弹射器关卡上进行任何实验。

结果是：将这套迁移而来的技能库注入Claude Sonnet 4.6，在完全没有弹射器关卡实验经验的情况下，成功率从ReAct基线的8%提升到了44%。这意味着，迁移来的技能贡献了整整36个百分点的性能提升。类似的迁移测试在其他方向上也有效：用"下落至地面"关卡的技能库迁移到"自由落体"关卡，Qwen-2.5-7B的成功率从基线的20%提升到32%；迁移到"双体问题"关卡，成功率从18%提升到34%。

这种迁移能够成功，说明技能库里沉淀的不是"在这道题里x=0.5最好用"这样的具体数字，而是"接触几何影响冲量方向"、"力矩臂控制杠杆旋转幅度"、"碰撞顺序决定后续运动"等真正普遍的物理规律。进化者在迁移过程中被明确要求：不得编造目标关卡的具体坐标，每条迁移技能必须以"机制"和"适用条件"的形式表达，不得以源关卡特有的实体名称进入最终描述。这些约束确保了迁移的是真正可复用的知识，而非具体情境下的操作捷径。

**七、与传统AI训练方法的对比：上下文学习 vs. 梯度更新**

研究团队还将HExA与一种截然不同的强化学习方法——GRPO（Group Relative Policy Optimization，一种专门用于训练语言模型的强化学习算法）——进行了直接对比。GRPO会真正修改模型的内部参数，通过大量尝试让模型的"本能反应"向着成功的方向调整，而不仅仅是在外部上下文中注入经验。

在相同的50个训练谜题预算下，GRPO使Qwen-2.5-3B在"下落至地面"关卡上达到20%的成功率，在"双体问题"关卡上达到6%；而HExA在同等数量的谜题上分别达到了24%和14%。HExA表现更好的核心原因在于学习速度：HExA从早期实验中提炼出的技能，可以立刻被注入后续实验的上下文，对后续实验的行为产生即时影响。GRPO则需要将成功信号通过大量的梯度更新慢慢"烙印"进模型权重，在早期成功率很低、信号稀疏的困难任务上，这个过程会非常缓慢。

然而，给GRPO足够多的训练轮次之后，它能在某些任务上达到接近100%的成功率，远超HExA的上限。两者各有优势的区域非常清晰：在样本预算有限、任务初期极难获得成功的场景下，HExA的优势明显；在有充足训练数据和计算资源的长期优化场景下，GRPO才能充分发挥其精确优化环境奖励的能力。研究团队指出，一个有前景的实用路径是将两者结合：先用HExA在新领域快速积累基础能力，再用GRPO在HExA打好的基础上进一步精炼。

**结语：会做实验的AI，离我们更近了**

归根结底，HExA框架的意义在于它证明了一件事：AI不必永远依赖训练数据里有没有覆盖某个领域，才能在该领域表现出色。只要给AI一个能够交互的环境和一套整理经验的机制，它就能像科学家一样，从零开始探索未知领域，积累真正有用的知识，并在遇到新挑战时把这些知识用起来。

这项研究目前还局限在2D物理仿真这个相对封闭的场景中，研究团队自己也坦诚指出了几个待解决的问题：技能库的质量受制于充当进化者的那个模型的推理能力；成功标准目前比较简单，对于那些没有清晰成功或失败信号的复杂任务，现有框架需要调整；此外，每轮还需要额外调用进化者模型来更新技能库，这带来了额外的计算开销。未来的研究方向包括在科学数据分析、交互式编程、工程设计等其他需要主动实验的领域验证框架的泛化性，以及探索如何设计更精密的技能结构让技能库能够在更大规模的任务生态中高效运转。

但即便如此，这项研究已经清晰地指出了一个方向：下一代更有用的AI，很可能不是那个"背过最多书"的学生，而是那个"在实验室里动手做过最多实验"的研究员。有兴趣了解完整技术细节的读者，可以在arXiv平台上通过编号2606.29315找到这篇论文的全文。

---

Q&A

Q1：HExA框架和普通AI聊天有什么区别，为什么HExA能解决普通AI解决不了的问题？

A：普通AI（包括使用ReAct等框架的AI）每次面对新任务时，都只能依靠训练时学到的固有知识和当前这一次的交互记录，任务结束后经验就消失了，下一个任务从零开始。HExA的不同之处在于它有一个持续积累的技能库：每次实验之后，进化者会把有价值的经验提炼成结构化的技能条目存下来，下一个任务开始时这些技能会被注入到AI的上下文中。随着实验轮次增多，技能库里的内容从零散观察演化成普遍原理，AI的表现也因此持续提升。这套机制不需要修改模型本身的参数，所以对任何语言模型（包括无法修改内部参数的闭源商业模型）都适用。

Q2：INTERPHYRE物理谜题平台有什么特别之处，和已有的物理测试有什么不同？

A：已有的物理推理测试（如PHYRE）主要考察AI能不能解题，但不提供让AI主动实验的接口。INTERPHYRE的核心创新是提供了一套交互式API：AI不仅可以提交解答，还可以查询场景几何信息、运行部分仿真观察中间过程、记录碰撞事件，甚至可以在仿真轨迹的某个节点"存档"，然后分出两条支线做反事实比较——例如"如果我去掉这个物体，最终结果会不会变"。这种反事实实验能力，使得AI能够像真正的科学家一样判断哪些物体或操作在因果链中起到了关键作用，而不只是靠猜测。

Q3：HExA学到的技能真的能迁移到没见过的新关卡吗，这种迁移有没有局限性？

A：论文中的实验显示，迁移确实有效，但效果取决于源关卡和目标关卡之间共享物理机制的程度。在结构相似的关卡之间（比如"下落至地面"迁移到"自由落体"），迁移带来了12个百分点的提升；跨越差异更大的关卡（三个不同源关卡迁移到最难的弹射器关卡），带来了36个百分点的提升，且全程没有在目标关卡做任何实验。迁移成功的前提是技能库里存储的是真正普遍的物理原理（比如"接触几何影响冲量方向"），而非特定坐标或特定物体名称。研究团队通过明确的约束条件（进化者在迁移时不得编造目标关卡的具体数字，必须用机制和适用条件来表达每条技能）来确保这一点。局限性在于，如果目标关卡涉及的物理机制与所有源关卡都完全无关，迁移的效果就会有限。