大模型的"认知僵化"问题：ByteDance团队揭示AI为何总是"按套路出牌"

这项由ByteDance Seed、南京大学、北京大学以及北京邮电大学联合开展的研究发表于2025年9月，论文题目为《Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow Real Instructions?》。感兴趣的读者可以通过项目主页https://huggingface.co/datasets/m-a-p/Inverse_IFEval访问完整数据集和相关资料。

如果你曾经使用过ChatGPT、Claude或其他大语言模型，可能会遇到这样的情况：当你明确要求"请不要使用列表格式回答"时，模型却依然顽固地给出条条框框的答案。或者当你要求它"故意写错几个字"时，它会拒绝或者根本做不到。这种现象就像一个受过严格培训的服务员，即使顾客明确要求"随意一点，不要那么正式"，他们也很难改变自己的职业习惯。

这种现象在人工智能领域有一个专业的名字：认知僵化。就像人类在长期练习某种技能后会形成肌肉记忆一样，大语言模型在训练过程中也会形成固定的"思维模式"。当遇到与训练习惯相冲突的指令时，它们往往会优先选择熟悉的模式，而不是严格按照用户的具体要求执行。

ByteDance的研究团队发现了这个问题的根源。在模型的训练过程中，为了确保输出质量，训练数据通常遵循一套"理想化标准"：回答要准确、格式要规范、语法要正确、结构要清晰。这样的训练让模型学会了产生高质量的标准答案，但同时也让它们变得过于"循规蹈矩"。当用户的真实需求与这些训练标准发生冲突时，模型就会陷入一种两难境地。

为了深入研究这个问题，研究团队开发了一套全新的评测体系，名为"Inverse IFEval"。这个评测就像给模型出了一系列"反常规"的考题，专门检验它们能否克服训练时养成的固定习惯，真正按照用户的具体要求行事。

一、逆向思维的评测设计

传统的AI评测就像标准化考试，主要检验模型是否能给出正确、规范的答案。但现实生活中，用户的需求往往五花八门，有时甚至会要求模型做一些"不按常理出牌"的事情。比如，有人可能需要故意写错字的文本用于测试拼写检查软件，或者需要没有注释的代码用于特殊的编程练习。

Inverse IFEval的设计理念就像给一个训练有素的厨师出难题：要求他做一道故意放错调料的菜，或者要求他完全不用传统的摆盘方式。这样的测试能够真正检验厨师是否具备灵活应变的能力，而不仅仅是按照标准食谱操作的技能。

研究团队设计了八种不同类型的"反常规"指令。第一种叫做"问题纠错"，就像给模型一道明显有错误的数学题，看它是否能够识别问题并给出正确的处理方式，而不是强行从错误选项中选择一个答案。第二种是"故意文本缺陷"，要求模型在回答中故意包含指定数量的拼写错误或语法问题，这直接违背了模型追求完美输出的训练目标。

第三种测试涉及"无注释代码"，要求模型生成功能完整但完全没有注释的代码。这对模型来说特别困难，因为在编程训练中，良好的注释习惯被反复强调，几乎成了条件反射。第四种是"反传统格式"，比如要求模型给出建议时不能使用任何列表、编号或分段，必须写成一段连续的文字。

还有"故意错误答案"这种测试，要求模型在回答十个简单问题时，只能答对其中五个，其余五个必须故意答错。这种要求让模型面临巨大的内在冲突：一方面要遵循用户指令，另一方面又要违背提供准确信息的基本训练目标。"指令诱导"测试则利用了模型对常见问题模式的记忆，给出看似熟悉但实际上需要不同解答方式的问题。

"中途指令修改"测试模拟了现实对话中经常出现的情况：用户在同一轮对话中多次改变要求，模型需要能够跟踪这些变化，只执行最终的指令。最后一种"反事实问答"测试要求模型严格根据提供的文本内容回答问题，即使这些内容与事实相冲突。

二、大规模数据构建的精心设计

为了确保测试的质量和公平性，研究团队采用了一套严谨的数据构建流程。这个过程就像制作一部高质量纪录片：从初步构思到最终成片，每个环节都需要专业团队的反复打磨。

整个构建过程分为五个主要阶段。首先是"观察与反转"阶段，研究人员深入分析了当前大语言模型训练中普遍采用的数据标准和回答模式。他们发现，无论是回答格式、语言风格还是内容组织方式，训练数据都倾向于遵循某些固定的"最佳实践"。基于这些观察，他们设计出了专门与这些常规做法相对立的指令类型。

接下来是"种子数据构建"阶段。研究团队邀请了多位在大语言模型训练方面经验丰富的专家，手工制作了每种指令类型的高质量示例。这些种子数据就像建筑的地基，为后续的大规模生成奠定了坚实基础。为了确保质量，每个种子样本都经过了多轮交叉验证，只有获得所有专家一致认可的样本才会被采用。

第三阶段是"大规模数据生成"。利用前面准备的种子数据，团队设计了专门的生成模板，然后使用多个先进的大语言模型协作生成大量候选样本。这个过程覆盖了23个不同的学科领域，从计算机科学、数学、物理到文学、法律、生物学等，确保测试内容的多样性和全面性。每个领域和指令类型的组合都会生成20个候选问题，然后通过自动化筛选机制进行初步质量控制。

自动筛选构成了第四个阶段。系统会检查生成内容的长度是否合适、语义是否连贯、是否确实符合预设的指令类型要求。通过这种自动化处理，大量明显不合格的样本被提前排除，大大提高了后续人工审核的效率。

最后一个阶段是"人工验证"。所有通过自动筛选的内容都需要经过专家的严格审核。审核重点关注三个方面：指令类型的准确性、指令表述的清晰度以及评分标准的可操作性。专家们会仔细检查每个问题是否真正属于指定的反常规指令类型，是否存在歧义或逻辑矛盾，以及是否能够设计出公平可靠的评分机制。

通过这套完整的流程，研究团队最终构建了包含1012个高质量样本的测试数据集，其中中文和英文各占一半。数据集涵盖了八种不同的反常规指令类型，分布在23个学科领域中。计算机科学领域的样本最多，占总数的20.2%，这反映了当前大语言模型应用的主要方向。

三、评测方法的创新突破

为了准确评估模型在这些反常规指令上的表现，研究团队开发了一套基于"大语言模型充当评判者"的自动化评测框架。这种方法就像让一位经验丰富的老师来批改考试卷子，既能理解复杂的评分标准，又能处理大量的测试样本。

传统的自动化评测往往只能处理有标准答案的客观题，但反常规指令的评估更像是主观题批改，需要理解指令的具体要求并判断模型的回答是否真正遵循了这些要求。比如，当指令要求"在回答中故意包含三个拼写错误"时，评测系统需要能够识别和计算拼写错误的数量，并判断这些错误是否确实是故意为之。

为了提高评测的准确性，团队采用了多项优化策略。首先是针对不同指令类型选择最适合的评判模型。就像不同学科需要不同专业背景的老师一样，不同类型的反常规指令也需要在相应能力上表现突出的模型来评判。通过大量测试，团队为每种指令类型都找到了表现最佳的评判模型。

其次是优化评判模板的结构。由于不同类型的指令对上下文信息的依赖程度不同，团队为每种指令类型设计了专门的评判模板，最大化地提供评判所需的信息，同时避免无关信息的干扰。

最重要的是系统提示词的深度优化。团队为评判模型编写了详细的评分逻辑说明，包括针对每种反常规指令类型的具体评分标准和示例案例。这就像给批改老师提供了详细的标准答案和评分细则，确保评判的一致性和准确性。

通过这些优化措施，最终的评测系统在验证测试中达到了98%的准确率，远超初始版本的88%。这意味着自动化评测的结果与人工专家评判的一致性非常高，为大规模测试提供了可靠的技术支撑。

四、令人意外的实验发现

当研究团队用这套新的评测体系对15个主流大语言模型进行测试时，结果令人震惊。即使是当前最先进的模型，在面对这些反常规指令时也表现得相当"顽固"。

在传统的IFEval测试中表现优异的一些模型，在Inverse IFEval测试中的排名出现了显著下滑。这种现象就像一个在标准化考试中总是名列前茅的学生，在面对开放性、创造性题目时却表现平平。OpenAI的o3-high模型在测试中表现最佳，但即使如此，它的整体得分也只有75分左右，远低于它在传统测试中的表现。

更有趣的是，研究发现模型的"思考能力"对处理反常规指令至关重要。那些具备"思维链推理"功能的模型明显优于普通版本。比如，同一个模型的思考版本比非思考版本在测试中的表现要好得多。这说明当面对与训练习惯冲突的指令时，模型需要更多的"思考时间"来克服固有的行为模式。

在具体的指令类型分析中，几乎所有模型都在"问题纠错"任务上表现最差，平均得分不到30分。这类任务要求模型识别出问题中的错误并主动纠正，而不是从错误选项中强行选择答案。大多数模型即使意识到了问题的错误，仍然会选择一个"最接近正确"的错误答案，而不是指出问题本身的缺陷。

相比之下，模型在"反事实问答"任务上表现相对较好，平均得分超过70分。这类任务要求模型严格按照给定文本回答问题，即使文本内容与事实相冲突。看起来模型在"照本宣科"方面比"主动纠错"方面更有优势。

"故意文本缺陷"任务的结果也很有启发性。大部分模型很难准确控制错误的数量和类型。比如要求"第一句话包含一个拼写错误，第二句话包含两个，第三句话包含三个"时，模型往往无法精确执行这种细粒度的控制要求，经常出现错误数量不符合要求的情况。

五、深层机制的科学解析

为了理解这些现象背后的原因，研究团队进行了深入的机制分析。他们发现，当前大语言模型的训练过程就像给一个人灌输了一套根深蒂固的行为准则，这些准则在大多数情况下都很有用，但在特殊情况下却可能成为束缚。

模型的"认知僵化"主要源于训练数据的特点。为了确保模型输出的质量，训练数据都经过了精心筛选和标准化处理。数据标注员在创建训练样本时，会自然而然地遵循一些"最佳实践"：使用清晰的格式、提供准确的信息、采用规范的语言等。这种标准化训练虽然提高了模型的整体表现，但也让模型形成了对特定模式的强烈偏好。

研究团队通过对比实验发现，那些经过更多轮次精调训练的模型往往在反常规指令上表现更差。这就像一个经验丰富的专家，虽然在专业领域内游刃有余，但在面对需要打破常规的新挑战时反而不如初学者灵活。这种现象被称为"过拟合到训练范式"，即模型过度适应了训练时的特定模式，失去了应对新情况的灵活性。

思考机制的重要性也得到了验证。研究发现，当模型被要求进行"链式思考"时，它们在反常规指令上的表现会显著提升。这是因为思考过程让模型有机会意识到当前指令与训练习惯的冲突，从而主动调整自己的行为策略。相反，那些直接输出答案的模型更容易受到训练时形成的条件反射影响。

语言差异的分析也很有意思。研究发现，大部分模型在中英文版本的测试中表现相当一致，这说明认知僵化现象是一个跨语言的普遍问题。但是，一些主要在中文语料上训练的模型，如GLM-4.5和Qwen系列，在中文版本测试中的表现明显优于英文版本，这反映了训练数据语言分布对模型行为的影响。

六、测试时计算资源的影响

研究团队还探讨了一个重要问题：给模型更多的"思考时间"是否能够改善其在反常规指令上的表现。他们采用了"Best-of-N"的测试方法，即让模型对同一个问题生成多个回答，然后选择其中表现最好的一个。

结果显示，随着候选答案数量的增加，模型的表现确实会稳步提升。当N从1增加到32时，大部分模型的得分都能接近或超过90分。这个发现很有实际意义：它说明模型其实具备完成这些任务的基础能力，只是在单次生成时经常被训练时形成的习惯所束缚。给予更多尝试机会后，模型就有更大概率生成符合要求的回答。

这种现象类似于人类在面对习惯性行为时的表现。当我们需要改变某个根深蒂固的习惯时，第一次尝试往往不太成功，但通过多次尝试和自我纠正，成功率会显著提升。对于大语言模型来说，多次采样就相当于给了它们多次"自我纠正"的机会。

七、与传统评测的对比分析

研究团队还将Inverse IFEval的结果与传统IFEval测试进行了详细对比。结果发现，虽然两种测试都在评估指令跟随能力，但它们揭示的是模型能力的不同侧面。

在传统IFEval测试中排名靠前的一些模型，在Inverse IFEval中的排名出现了明显变化。比如，某些在标准指令跟随任务上表现优异的模型，在面对反常规指令时却显得力不从心。这种排名变化说明了什么问题呢？

传统的指令跟随测试主要考查模型是否能够理解和执行常见类型的指令，这些指令通常与训练数据中的模式高度一致。而反常规指令测试则考查的是模型的适应性和灵活性，即在面对与训练经验冲突的要求时是否能够调整自己的行为。

有趣的是，那些没有经过大量精调训练的模型有时在反常规指令上表现得更好。这就像刚学会驾驶的新手司机，虽然技术不够熟练，但在面对特殊路况时反而比老司机更容易接受新的驾驶方式。过度的训练有时会让模型变得过于"专业化"，失去了应对新情况的灵活性。

八、实际应用的深远影响

这项研究的意义远不止于学术层面的发现，它揭示了当前AI技术发展中的一个重要瓶颈。在现实应用中，用户的需求往往比训练数据中的场景更加多样和复杂。有时候用户可能需要模型做一些"不按常理出牌"的事情，而当前的模型往往难以胜任这些任务。

比如在教育领域，老师可能需要AI帮助生成故意包含常见错误的练习题，让学生练习错误识别和纠正能力。在软件测试领域，开发者可能需要AI生成各种"异常"的测试用例来检验系统的鲁棒性。在创意写作领域，作者可能希望AI能够突破传统的写作模式，提供一些"反常规"的表达方式。

当前模型在这些场景中的表现往往不尽如人意，主要原因就是它们过于拘泥于训练时形成的行为模式。这种认知僵化不仅限制了AI的应用范围，也影响了用户体验。用户经常会发现，无论怎样明确地表达自己的需求，AI总是按照它"认为正确"的方式回答，而不是严格按照用户的要求执行。

研究团队认为，解决这个问题需要从多个角度入手。首先是在训练数据的构建过程中增加更多非常规的样本，让模型在训练阶段就接触到各种"反常规"的指令和回答模式。其次是改进训练算法，让模型能够更好地平衡"遵循训练经验"和"遵循用户指令"之间的关系。最后是开发更好的提示工程技术，帮助用户更有效地与AI进行交互。

九、未来发展的技术路径

基于这些发现，研究团队提出了几个可能的改进方向。第一个方向是"对抗性训练"，即在训练过程中故意加入一些与常规模式冲突的指令，训练模型在这些情况下仍能正确响应。这就像给运动员进行各种极限条件下的训练，提高他们的适应能力。

第二个方向是"指令权重调节"，即让模型学会动态调整对不同指令的重视程度。当用户明确要求执行某个非常规操作时，模型应该能够识别出这种强调，并相应地调整自己的行为策略。这需要在模型架构层面进行创新，增加对指令重要性的感知能力。

第三个方向是"分层训练策略"，即将模型的训练分为多个阶段，在不同阶段培养不同的能力。早期阶段重点培养基础的语言理解和生成能力，后期阶段则重点培养灵活性和适应性。这种方法可以避免过度训练导致的僵化问题。

研究还显示，思考机制在处理反常规指令中的重要作用为未来的模型设计指明了方向。未来的AI系统可能需要具备更强的"元认知"能力，即能够意识到自己的行为模式，并在必要时主动调整这些模式。这种能力不仅对处理反常规指令有帮助，对AI的整体智能水平提升也有重要意义。

说到底，这项研究揭示了一个看似矛盾但实际深刻的现象：让AI变得更加"人性化"的关键，可能恰恰在于教会它们如何"不按套路出牌"。在现实生活中，真正的智能不仅体现在遵循规则的能力上，更体现在适时打破规则、灵活应对新情况的能力上。

当我们与AI交互时，我们希望它不仅是一个循规蹈矩的助手，更是一个能够理解我们真实意图、灵活应对各种需求的智能伙伴。这项研究为实现这一目标提供了重要的理论基础和实践指导，相信在不久的将来，我们会看到更加灵活、更加"善解人意"的AI系统。这不仅会改善我们的使用体验，也会为AI技术的进一步发展开辟新的可能性。

对于普通用户来说，了解这些技术细节的意义在于：当你发现AI不能完全按照你的要求执行某些任务时，这可能不是你的表达问题，而是当前技术的固有限制。但好消息是，研究人员已经意识到了这个问题，并且正在积极寻找解决方案。未来的AI助手将会更加灵活，更能适应我们多样化的真实需求。

Q&A

Q1：什么是Inverse IFEval测试，它与传统AI测试有什么不同？

A：Inverse IFEval是ByteDance团队开发的专门测试AI"反常规指令"执行能力的评测体系。与传统测试不同，它不考查AI是否能给出标准正确答案，而是测试AI能否执行一些与训练习惯相冲突的特殊要求，比如故意写错字、不使用列表格式回答、或者在多个问题中故意答错几个。这种测试能揭示AI的灵活性和适应性。

Q2：为什么现在的大语言模型会出现认知僵化问题？

A：主要原因是训练数据过于标准化。在训练过程中，为了保证输出质量，训练数据都遵循"最佳实践"标准：格式规范、内容准确、语法正确。这让模型形成了固定的行为模式，就像一个受过严格培训的服务员很难改变职业习惯一样。当用户要求与这些习惯冲突时，模型往往会优先选择熟悉的模式而不是严格遵循用户指令。

Q3：这项研究对普通用户使用AI有什么实际意义？

A：这项研究解释了为什么有时AI无法完全按照你的要求执行任务，特别是一些非常规请求。同时也带来了好消息：研究发现给AI更多"思考时间"或使用具备思维链功能的模型能显著改善这个问题。未来的AI系统将会更加灵活，更能理解和执行用户的真实需求，而不是总是"按套路出牌"。