自我挑战型大语言模型：让AI通过自创问题提升能力

近日，加州大学伯克利分校的Yifei Zhou与其团队，联合Meta旗下FAIR（Facebook AI Research）的Jason Weston、Xian Li和Sainbayar Sukhbaatar发表了一项突破性研究成果。这篇题为《Self-Challenging Language Model Agents》（自我挑战语言模型智能体）的论文于2025年6月2日发表在arXiv预印本平台上，为大语言模型的自我提升开辟了全新路径。

想象一下，如果一个孩子想要成为优秀的厨师，最好的学习方式是什么？传统方法是让专业厨师设计各种烹饪挑战，然后指导孩子完成这些任务。但如果没有专业厨师呢？孩子能否通过自己探索厨房，设计挑战，然后尝试解决这些自创的难题来提升烹饪技能？这正是本研究的核心思想。

大语言模型（LLM）正迅速成为能够使用各种工具的智能助手基础，但训练这样的助手面临一个巨大挑战：它需要人类创建和标注各种任务、工具和评估标准，这个过程既昂贵又费时，最终难以扩展。就像需要无数专业厨师设计无数烹饪挑战一样，这在现实中是不可行的。

研究团队提出了一个名为"Self-Challenging"（自我挑战）的框架，允许AI助手在没有人类监督的情况下，通过自己生成高质量任务并从中学习来提升能力。这就像让孩子在厨房里自由探索，设计自己的烹饪挑战，然后通过不断尝试这些挑战来提升烹饪技能。

在这个框架中，AI扮演两个角色：一个是"挑战者"，负责在探索环境后创造任务；另一个是"执行者"，负责解决这些任务并从中学习。为了确保生成的任务既有挑战性又可验证，研究团队提出了"Code-as-Task"（代码即任务）的新型任务表示方法，它包含四个组成部分：指令、验证函数、解决方案示例和失败案例。这种结构使得系统能够自动筛选出高质量的任务。

研究团队在两个现有的多轮工具使用基准测试（M3ToolEval和TauBench）上评估了他们的方法，涵盖了工具计算、网页浏览、零售服务和航班预订四种不同环境。即使仅使用自生成的训练数据，他们的Self-Challenging框架也使Llama-3.1-8B-Instruct模型的性能提高了两倍多。

这项研究展示了AI系统如何通过自我挑战和学习实现持续进步，减少对人类标注的依赖，为构建更通用、更自主的AI助手铺平了道路。就像一个孩子最终通过自学成为出色的厨师，AI也可以通过自我挑战不断提升自己的能力。

自我挑战框架：AI如何成为自己的老师

研究团队面临的核心问题是：如何让AI在没有人类监督的情况下自主提升能力？他们的解决方案就像是教会AI"自学成才"的能力。在传统训练方法中，我们需要人类设计各种任务，就像老师为学生准备练习题一样。但Self-Challenging框架则是教会AI自己出题、自己解答，然后从这个过程中学习。

这个框架的核心思想非常简单：AI先扮演"挑战者"角色，在环境中探索并生成任务；然后转变为"执行者"角色，尝试解决这些任务并从成功或失败中学习。就像一个学生先思考"如果我是老师，我会出什么样的难题？"，然后再尝试解决这些自己出的题目。

但这里有个挑战：如果AI生成的任务质量不高，比如任务不可行、无法验证或太过简单，那么整个学习过程就会变得毫无意义。这就像学生自己出的题目过于简单或根本无法解答，那么解题过程就不会带来任何提升。

为了解决这个问题，研究团队提出了"Code-as-Task"（代码即任务）的概念。每个生成的任务包含四个关键部分：

首先是指令，告诉AI需要完成什么任务，就像一道题目的描述。例如，"你的名字是Olivia Nguyen，邮箱是olivia4794@example.com。请通过paypal 77退回订单#W112中的滑板。"

其次是验证函数，这是一段代码，用于检查任务是否成功完成。就像批改作业的标准答案，它会明确定义什么算是正确解答。

第三是示例解决方案，展示至少一种完成任务的方法，证明这个任务是可解的。这就像教科书后面的参考答案，证明这道题是有解的。

最后是失败案例，展示几种看似正确但实际错误的解答，帮助AI理解任务的边界条件。这就像指出常见的错误解法，帮助学习者避开思维陷阱。

这四个部分（除了指令外）都使用代码表示，因为代码具有通用性和表达能力。系统会自动检查示例解决方案是否能通过验证函数，以及失败案例是否会被验证函数正确拒绝，从而自动筛选出高质量的任务。

这个设计非常巧妙，因为它不仅确保了生成的任务是可行的（有解决方案），还确保了任务有一定难度（有失败案例），同时也保证了任务是可验证的（有验证函数）。就像一个完美的老师，不仅会出有解的题目，还会提供正确答案和常见错误示例，以及明确的评分标准。

Code-as-Task：为AI创造高质量的自学题库

传统的机器学习方法通常依赖于大量人工标注的数据进行训练，这就像需要许多教师精心设计教材和练习题。但研究团队提出的Code-as-Task框架则彻底改变了这一模式，让AI能够自己创建高质量的"题库"。

想象一下，如果让一个学生自己出题自己答，很可能会出现两个问题：要么题目太简单（因为学生想让自己轻松得高分），要么题目不合理（因为学生对知识掌握不全面）。Code-as-Task正是为了解决这些问题而设计的。

Code-as-Task的精妙之处在于它的四部分结构。首先是指令部分，就像一道清晰的题目描述。例如，在零售环境中，一个指令可能是："你是Olivia Nguyen，请使用paypal账户退回订单中的滑板。"这部分用自然语言表达，就像我们平常收到的任务描述一样。

第二部分是验证函数，这是用代码编写的自动评分系统。例如，一个验证函数可能会检查：订单状态是否变为"已申请退款"？退款的物品ID是否正确？支付方式是否正确选择了paypal？这个验证函数就像一个严格的评分标准，明确定义了什么算是任务完成。

第三部分是示例解决方案，展示如何成功完成任务。这就像是参考答案，证明任务是可解的。例如，解决方案可能包含查询用户信息、检查订单详情、提交退款申请等一系列步骤。

最后是失败案例，展示看似合理但实际错误的解法。比如使用错误的支付方式、退错商品，或者尝试取消订单而非退款。这些失败案例帮助AI理解任务的边界和潜在陷阱。

研究团队发现，这种结构非常有效。当AI生成包含这四个部分的任务时，系统会自动运行验证：示例解决方案必须通过验证函数，而所有失败案例都必须被验证函数拒绝。只有同时满足这两个条件的任务才会被保留下来作为训练数据。

这个过程就像是有一个严格的质量控制系统，确保AI生成的"题库"中只包含高质量的题目 - 既有明确的题目描述，又有严格的评分标准，还有正确的参考答案和典型的错误示例。这样的"题库"才能真正帮助AI提升能力。

研究团队的人工评估显示，通过这种方式，他们成功降低了两种常见问题：假阴性（任务实际上不可能完成但被标记为失败）和假阳性（任务实际上没有完成但被标记为成功）。这就像确保考试中没有无解题目，同时也不会错误地把错误答案当成正确答案。

任务挑战者与执行者：AI的双重角色

在Self-Challenging框架中，AI扮演着两个截然不同却相互补充的角色：任务挑战者和任务执行者。这就像是一个人分饰两角，一会儿是出题的老师，一会儿是解题的学生。

首先，让我们了解"任务挑战者"是如何工作的。想象一个好奇的探险家进入一个未知的环境，他会先四处走走看看，熟悉这个环境中有哪些工具可用，能够完成哪些操作，然后基于这些探索设计出一个有趣且有挑战性的任务。这正是"任务挑战者"所做的事情。

任务挑战者会与环境交互，探索可用的工具和功能。例如，在零售服务环境中，它会查看用户信息、浏览订单历史、了解商品详情、测试各种操作（如退款、更换、取消订单）等。通过这些交互，任务挑战者积累了对环境的深入理解。

基于这种理解，任务挑战者会生成一个Code-as-Task格式的任务，包括指令、验证函数、示例解决方案和失败案例。这个过程就像一个老师在充分了解教学内容后，精心设计出一道既有挑战性又有教育意义的习题。

生成的任务会通过自动检查系统进行筛选，确保只有高质量的任务被保留下来。这就像教材编辑过程，确保每道题目都经过严格审核。

接下来是"任务执行者"的角色。执行者接收到由挑战者生成的任务，尝试解决它，并从成功或失败中学习。这就像学生面对习题，通过解题过程加深对知识的理解。

研究团队探索了两种训练任务执行者的方式：自我提升和知识蒸馏。

在自我提升设置中，同一个模型既是挑战者又是执行者。模型生成任务，然后尝试解决这些任务，从成功和失败中学习。这就像自学成才的学生，自己找题目，自己解答，自己总结经验教训。研究团队使用强化学习方法（具体是REINFORCE算法）来优化模型，本质上是让模型在成功解决任务时得到正向反馈。

在知识蒸馏设置中，一个更强大的模型（如Llama-3.1-70B）作为挑战者生成任务，然后一个较小的模型（如Llama-3.1-8B）作为执行者学习解决这些任务。这就像一个高水平的老师设计习题，然后指导学生学习。有趣的是，研究发现即使失败的轨迹也对较小模型有学习价值，就像学生从错误中学习一样。

研究结果表明，这两种方法都能显著提升模型性能。在自我提升设置中，Llama-3.1-8B的成功率从12.0%提升到23.5%，相当于翻了近一倍。在知识蒸馏设置中，性能提升更为显著，平均成功率提高了20.2%。这证明了Self-Challenging框架的有效性，无论是自我提升还是在老师指导下学习，AI都能通过这种方式显著提升能力。

实验成果：自我挑战的惊人效果

研究团队在四种不同的环境中评估了Self-Challenging框架的效果，这些环境涵盖了AI助手在现实世界中可能面临的各种任务类型。就像一个全面的考试，测试学生在不同科目上的能力。

第一个测试环境是M3ToolEval中的计算环境，这里包含了旅行计划、DNA序列、消息解码和交易计算等工具。想象这是一个需要精确计算和逻辑推理的数学考试。这个环境的特点是完全可观察的，几乎所有信息都在初始观察中提供。

第二个是M3ToolEval中的网页浏览环境，需要AI通过一组合成网页进行导航以查找特定信息。这就像一个信息检索考试，考察查找和整合信息的能力。与计算环境不同，这个环境是部分可观察的，需要通过交互才能获取更多信息。

第三和第四个环境来自TauBench，分别是零售服务和航班预订环境，模拟客户服务场景。这就像一个实际操作考试，测试解决现实问题的能力。这些环境也是部分可观察的，AI需要与模拟用户交互，查询数据库，进行相应修改以满足用户请求。

在这些环境中，研究团队比较了几种方法的性能：

首先是零样本性能，即直接使用预训练模型（如GPT-4o、Llama-3.1-70B和Llama-3.1-8B）而不进行任何特定任务的微调。这就像学生不做任何专门复习就直接参加考试。

其次是Proposer-Agent-Evaluator（PAE）基线方法，这是一种现有的任务合成和自主改进方法。PAE通过提示模型生成指令，然后让同一个模型评判成功与否。这就像学生根据教科书自己出题自己评分，但没有经过严格的质量控制。

最后是研究团队提出的Self-Challenging Agent（SCA）方法。

实验结果令人惊叹。在知识蒸馏设置中，SCA使Llama-3.1-8B的平均成功率从12.0%提升到32.2%，比PAE方法（30.1%）表现更好。特别是在网页浏览、零售和航空环境这些部分可观察的环境中，SCA的优势更为明显。

在自我提升设置中，差距更大。PAE方法在计算环境中效果不错，但在其他三个部分可观察的环境中几乎没有改进，甚至在航班环境中性能下降。相比之下，SCA在所有环境中都取得了显著提升，平均成功率从12.0%提高到23.5%，远超PAE方法的12.9%。

这些结果清楚地表明，SCA框架在生成高质量任务方面具有显著优势，特别是在那些需要主动探索和交互的复杂环境中。就像一个好老师不仅会出题，还会提供明确的评分标准和典型错误示例，帮助学生全面提升。

研究团队还进行了详细的消融实验，分析了Code-as-Task中各个组成部分的重要性。结果显示，完整的Code-as-Task（包括指令、验证函数、示例解决方案和失败案例）能显著减少假阴性和假阳性，提供最高质量的任务。

另一个有趣的发现是，在使用更强大的模型（如Llama-3.1-70B）作为任务挑战者时，生成的任务分布更加多样化和平衡。这就像一个经验丰富的老师能够设计出难度适中、覆盖面广的题目集。

数据规模与迁移性：自我挑战的深度与广度

研究团队还探索了一个关键问题：在改善模型性能时，是增加任务数量更重要，还是为每个任务收集更多轨迹（即解决方案尝试）更重要？这就像问：学生应该做更多不同的题目，还是应该反复练习同一套题目？

研究结果非常有启发性。在训练数据集上，增加每个任务的轨迹数量总是能提高成功率。这很直观，就像反复练习同一套题目能提高对这些特定题目的熟练度。然而，这种改进并不一定能泛化到测试集上。

相比之下，增加任务数量（特别是当训练集足够大时，如800个任务）能够稳定地提高测试集上的性能。这表明任务多样性对于泛化能力至关重要，就像学习各种不同类型的题目能够更好地应对未见过的新题目。

这一发现强调了大规模、多样化任务集对于训练通用AI代理的重要性，也突显了SCA自动生成大量高质量任务的价值。

研究团队还探索了训练模型在不同环境之间的迁移性。他们比较了为每个环境单独训练模型与使用所有环境数据联合训练一个模型的效果。结果显示，联合训练并没有带来明显改进，有时甚至表现更差。

这表明模型主要学习的是环境特定的技能，而不是通用的代理能力。就像学生在学习数学、物理、化学等不同科目时，每个科目的学习内容可能并不直接转化为其他科目的能力。这指出了未来研究的一个重要方向：如何增强环境通用的代理能力。

研究团队还将SCA生成的任务与高质量的"标准"任务进行了比较。尽管SCA能显著提升模型性能，但与使用精心设计的标准任务相比仍有差距。这表明自动生成的任务质量虽然已经很高，但仍有改进空间。

另一个有趣的发现是，在知识蒸馏设置中，使用所有轨迹（包括成功和失败的）进行训练比只使用成功轨迹效果更好。这表明当老师模型显著优于学生模型时，即使是失败的尝试也包含有价值的学习经验，就像学生可以从老师的错误示范中学习一样。

自我挑战的未来：潜力与挑战

尽管Self-Challenging框架显示出了令人印象深刻的效果，研究团队也坦率指出了当前方法的一些局限性和未来研究方向。

首先，尽管Code-as-Task格式显著提高了生成任务的质量，但仍有相当比例的假阴性案例（模型得到0分，但实际上是因为任务本身有问题）。主要问题是语义微妙之处，如指令中的歧义或信息不足。例如，指令可能是"帮我退回最近订单中的一个物品"，但没有指明具体是哪个物品。这类语义依赖关系的问题需要更深入的研究。

其次，研究表明模型主要提升的是环境特定的技能，而不是通用代理能力。这就像学生在数学课上的提升并不自动转化为物理课的进步。如何增强环境通用的代理能力是一个重要的开放性问题。

第三，自动生成的任务与人工设计的高质量任务之间仍存在质量差距。这表明自动任务生成方法还有提升空间。

此外，研究团队还探索了不同强化学习算法与SCA的结合。他们发现线下方法（如Rejection Fine-Tuning和DPO）相对稳定，而在线方法（如PPO和GRPO）在相同任务上可以达到更高性能，但需要更复杂的基础设施支持并对超参数更敏感。

尽管存在这些挑战，Self-Challenging框架的潜力是巨大的。它为构建能够自主学习和改进的AI系统开辟了新途径，减少了对人类标注的依赖，这对于扩展AI能力至关重要。

更广泛地说，这项研究代表了向更自主AI系统的重要一步。传统上，AI系统依赖人类设计任务、提供示范和评估性能。Self-Challenging框架展示了AI如何开始接管部分这些角色，自己设计任务，自己评估性能，自己从经验中学习。

这种方法与人类学习有许多相似之处。人类不仅从老师设计的练习中学习，也通过自我挑战、探索和反思来提升能力。Self-Challenging框架使AI能够以更类似人类的方式学习和成长。

随着这项技术的发展，我们可以期待更加自主、适应性更强的AI助手，它们能够不断学习新技能，适应新环境，解决新问题，而无需持续的人类监督和指导。这将大大扩展AI在日常生活和专业领域的应用范围和实用性。

结语：自我挑战开启AI自主学习新时代

Self-Challenging框架代表了AI训练方法的一个重要转变：从依赖人类设计任务和评估，到AI自己创造挑战并从中学习。这就像从"老师教导学生"转变为"学生自我指导学习"，是AI走向真正自主性的关键一步。

这项研究的成功之处在于它不仅提出了一个概念性框架，还设计了具体机制（如Code-as-Task格式）来确保自动生成的任务具有高质量。这就像不仅告诉学生"去自学"，还提供了有效的自学方法和质量控制标准。

实验结果令人印象深刻：在四种不同环境中，仅使用自生成的训练数据，Llama-3.1-8B模型的性能显著提升，在自我提升设置中几乎翻倍，在知识蒸馏设置中提高了20%以上。这证明了AI确实可以通过自我挑战来有效提升能力。

当然，这项研究也展示了一些局限性和未来研究方向。例如，如何进一步提高生成任务的质量，如何增强环境通用的代理能力，以及如何将自动生成的任务质量提升到接近人工设计任务的水平。

归根结底，Self-Challenging框架为AI的自主学习和持续改进开辟了新途径。就像人类通过自我挑战和反思不断成长一样，AI也可以开始自己的自主学习之旅。这不仅减少了对人类标注的依赖，也为构建更加智能、适应性更强的AI系统铺平了道路。

随着这项技术的发展和完善，我们可以期待未来的AI助手不仅能够执行预定义的任务，还能在新环境中自主学习和适应，不断扩展自己的能力边界。这将使AI在解决现实世界复杂问题时变得更加有用和可靠，最终为人类提供更好的服务和支持。

Self-Challenging框架可能只是AI自主学习旅程的开始，但它代表了一个重要的里程碑，指向了一个AI能够像人类一样通过自我挑战和反思不断成长的未来。