大模型"学了却不会用"？香港科技大学揭开AI知识注入的隐藏困境

这项由香港科技大学（广州）与香港科技大学联合开展的研究，以预印本形式发布于2026年7月，论文编号为arXiv:2607.08393。研究聚焦于大型语言模型在微调过程中一个长期被忽视的核心矛盾：模型明明已经"记住"了新知识，为什么在真正需要用到这些知识的时候却屡屡失手？

每次打开新闻，都能看到关于大型语言模型（也就是ChatGPT、文心一言这类AI助手背后的技术）有多神通广大的报道。但在这些光鲜的能力背后，隐藏着一个让研究者头疼多年的奇怪现象：当你试图让AI学习全新的知识时，它能很快"背下来"，但一旦需要真正"用起来"，它却常常犯错，甚至完全不会。

这种感觉，就像是有个学生在考前死记硬背了所有的地理知识——他能流利地背出"悉尼位于澳大利亚"，也能背出"澳大利亚的首都是堪培拉"。但当你问他"悉尼所在国家的首都是哪里"时，他却一脸茫然，完全无法把两条记忆串联起来使用。香港科技大学的研究团队把这种奇特的困境命名为"知用鸿沟"（Knowing–Using Gap），并用严谨的实验和一套全新的诊断工具，第一次从AI内部的运作机制角度，说清楚了这个问题究竟是怎么发生的。

一、那个让所有AI研究者都头疼的问题

要理解这项研究的价值，首先得明白大型语言模型是如何"学新东西"的。当AI在出厂之后需要掌握某些特定领域的新知识——比如最新的生物医学发现、最新的学术论文内容——工程师通常会采用一种叫做"微调"（fine-tuning）的方式，把新知识"喂"给模型，让它反复学习，直到能够正确回答相关问题为止。

这个过程乍看起来很顺畅：模型很快就能在直接提问时给出正确答案，比如"ABCC11基因转运哪种药物？"答："普罗磺舒"。研究人员把这种能力叫做"记忆"（memorization）——模型把知识点记住了。然而，当问题稍微复杂一点，需要把多条知识串起来推理时，比如"ABCC11基因转运的那种药物的副作用是什么？"，模型就开始频繁出错，甚至完全答不上来。研究人员把这种能力叫做"泛化"（generalization）——把学到的知识灵活运用到新场景。

记忆和泛化之间的差距，就是"知用鸿沟"。这个鸿沟体现在两个维度上。其一是准确度上的落差：在训练结束时，模型记忆知识的准确率接近100%，但在需要推理的任务上，准确率可能只有7%到18%。其二是时间上的滞后：模型通常在训练早期就能记住知识，但要等到更多轮训练之后才可能开始会用——有时候甚至永远都学不会用。在研究团队测试的具体实验里，记忆任务平均在第10轮训练时就饱和了，而泛化任务平均要到第15轮才出现，中间相差约5轮，而且最终准确率依然远低于记忆任务。

更令人沮丧的是，这个问题并不会因为模型变大或者训练数据变多而消失。研究团队对从1.5亿参数到80亿参数的多个模型都做了测试，发现不管模型多大，"知用鸿沟"始终存在。向模型注入更多新知识，反而还会让这个准确率差距进一步扩大——好像记忆的仓库越塞越满，但真正能灵活调用的货物却没有相应增多。

二、从两个不同的考卷来量化这道鸿沟

为了严谨地研究这个问题，研究团队首先需要设计一套合适的测试方案。他们从一个名为STaRK的真实世界知识库中提取了数据，分别使用了生物医学领域（STaRK-Prime）和学术文献领域（STaRK-MAG）的数据，确保研究结论能跨领域成立。

在使用这些数据之前，团队做了一个关键的验证：在没有任何训练的情况下，让六款主流大型语言模型去回答这些知识问题。结果显示，所有模型的得分都低于6%，接近随机猜测的水平。这说明这些知识对于模型来说是真正"陌生"的，排除了模型事先就已经知道答案的可能性。

接下来，他们设计了两种类型的"考卷"。第一种叫做"记忆任务"，就是直接考单条知识：给出头部实体和关系，让模型说出尾部实体。比如，"IGFBP3蛋白靶向的药物是什么？"这类问题，模型只需要用一条记忆就能回答。第二种叫做"泛化任务"，分为"链式推理"和"交叉推理"两种形式。

链式推理需要把两条知识接龙：比如先知道"胚胎中表达哪个蛋白"（答案是IGFBP3），再知道"哪种药物靶向IGFBP3"（答案是美卡舍明），然后才能回答"靶向在胚胎中表达的蛋白的药物是什么"。这就要求模型不仅要分别记住两条知识，还要能把它们串起来用。交叉推理则是要在多条知识中寻找共同点：比如同时知道"与神经胶质瘤相关的暴露因素"和"与甲状腺功能减退症相关的暴露因素"，然后找出两者共同关联的那个暴露因素——三氟林，同时还有一些无关的"噪音"知识干扰判断。

实验结果相当清晰。在链式推理任务上，"知用鸿沟"最为显著：记忆准确率接近完美，但泛化准确率只有7%到18%，时间差达到约5轮训练。在交叉推理任务上，情况好一些，因为这类任务的答案有时候和记忆任务的答案重叠，推理难度相对较低，时间差只有约0.6到1轮，最终准确率也高得多。

此外，全量微调（即对整个模型所有参数进行训练）和参数高效微调（LoRA，一种只训练少数额外参数的方法）的对比也很有意思：全量微调确实让模型记忆得更快，但并不能帮助模型更快或更好地泛化。在交叉推理任务上，全量微调甚至让泛化出现得更晚，鸿沟反而更大。这说明，记忆和泛化之间的断裂，并不是简单地靠"训练力度更强"就能弥合的。

三、AI的"大脑内部"到底发生了什么

既然知道了问题的存在，研究团队接下来要做的，是打开这个"黑箱"，看看AI内部到底在哪里卡住了。他们设计了一种叫做"自补丁"（self-patching）的全新诊断工具，这也是这篇论文最具创意的技术贡献。

可以用一个图书馆的比喻来理解自补丁的工作原理。一座大型图书馆（也就是AI模型）有很多层楼，每层楼存放着不同类型的信息处理能力。知识就像书本，被放在某些楼层。当有人来查资料（也就是AI被问问题时），图书馆员工需要先找到存放相关书本的楼层，把书取出来，然后带到处理阅览的楼层（通常是中间某几层）供使用。"自补丁"做的事情，就是模拟"手动把书从A楼层搬到B楼层"这个动作，然后观察：这本书放在B楼层之后，能不能帮助图书馆员工查到正确答案？

具体来说，自补丁的操作是这样的：选定一个"锚定位置"（通常是问题中提到的关键实体，比如某个基因名称）在AI某一层的内部表示；把这个内部表示从源层复制到目标层；然后让AI继续从目标层往后运算，看最终答案是否从错误变成了正确。通过系统地扫描所有可能的源层和目标层组合，就能画出一张"热力图"，标示出哪些层包含了有效信息、这些信息被搬到哪些层之后能触发正确推理。

与此同时，研究团队还把自补丁和两种现有的类似工具做了比较，以说明其独特价值。现有的"因果追踪"（causal tracing）方法需要先有一个"正确答案的运算轨迹"作为参照，然后通过破坏这个轨迹来找出关键位置——但如果模型本来就答错了，这个方法根本无从入手。另一种叫做"补丁镜"（PatchScope）的工具则是用来解读AI内部某层的表示"代表什么意思"，侧重于理解信息内容，而不是测试信息能否被用于推理。自补丁恰好弥补了这两者的空白：它不需要正确轨迹，可以直接作用于失败的案例；它关注的也不是信息内容，而是信息在计算流程中的"可用性"。这对于研究泛化失败的案例来说，正是所需要的工具。

四、知识在AI内部的"漂移旅程"

用自补丁工具扫描训练过程中每个检查点，研究团队得到了一系列动态热力图，直观展示了知识是如何在训练过程中逐渐在AI内部"渗透"的。这个过程分三个阶段，非常有规律。

在知识还没有被记住的早期训练阶段，热力图几乎全是蓝色——意味着不管把哪一层的表示搬到哪里，都无法帮助模型给出正确答案。这说明此时相关知识根本还没有被编码进模型内部。

当训练进展到记忆刚刚饱和的时刻，情况发生了显著变化：热力图上出现了明显的"红色区域"，但这些红色区域是偏离对角线的。对角线代表什么意思呢？当某个单元格的行索引（源层）等于列索引（目标层）时，就说明那一层本来就自然包含正确信息，不需要任何搬运就能给出正确答案。偏离对角线的红色单元格则意味着：知识已经存在于某些层了，但是只有当你把这些层的表示"强行搬运"到另一些特定层时，它才能被有效利用。换句话说，知识虽然已经被存储下来了，但存错地方了——它在"书库"里，却没有摆到"阅览室"里。

随着训练继续进行，红色区域开始向热力图的对角线方向"蔓延"。在最终成功泛化的案例中，红色区域会最终覆盖到对角线，意味着那些层已经自然地包含了可以直接使用的知识，不再需要强行搬运。而在最终失败的案例中，红色区域虽然也在扩展，但始终无法触及对角线，止步于此。这是因为，一旦记忆任务的损失函数（loss）降到很低，模型就几乎不再有梯度信号来驱动进一步的内部重组，训练动力就"熄火"了，知识就这样被永久性地"困"在了错误的层里。

五、知识被困在了AI的哪里，又该怎么解救它

"自补丁"的热力图不仅揭示了问题的存在，还告诉了我们知识具体被困在哪里，以及需要被送往哪里。研究团队分析了大量热力图中效果最好的"搬运路线"，发现了一个惊人的规律：有效的搬运路线呈现出两个明显的集群。

第一个集群是从"晚层"搬到"中层"。这个方向不难理解——模型的晚层（靠近输出的那些层）往往汇聚了更丰富的语义信息，把这些信息向前拉到中层，让中层的推理计算能"看到"这些信息，是有效的。第二个集群则更加出人意料：从"早层"搬到"中层"同样有效。这说明，知识在刚刚被注入时，有一部分编码在了早层（靠近输入的那些层），而这些早层的知识在自然的前向传播中没能传递到中层，被过滤或者忽视了。一旦人工把它送到中层，同样能激活正确推理。而向晚层搬运（也就是把信息送到更靠后的层）则几乎没有任何效果——这与领域里已有研究相吻合：在推理的晚期阶段，计算注意力已经转移到最后一个词语位置，把实体知识塞进去已经来不及影响最终答案了。

知道了这个规律，研究团队做了一个关键实验：在训练完全收敛之后（也就是正常微调已经停止的情况下），手动对每个失败案例找出最有效的搬运路线，然后进行自补丁操作，看能恢复多少泛化准确率。结果非常震撼：在链式推理任务上，所有模型、所有数据集的准确率都提升了1.5到6倍；在交叉推理任务上，本来就不大的"知用鸿沟"也几乎被完全消除了。以Qwen-2.5-7B模型在生物医学数据集上的链式推理任务为例，不做任何干预时准确率只有12.4%，而在"神谕补丁"（oracle patching，即找出最优搬运路线的理想情况）后准确率跃升到50.4%。

这个结果有一个极其重要的含义：泛化失败，并不是因为模型"没有"这个知识。知识就在那里，只是被存放在了无法自然参与推理计算的地方。这是一个路由问题，而不是容量问题。

六、控制实验：排除其他可能的解释

当然，严谨的科学研究不能只靠一个实验就下结论。研究团队还设计了一系列对照实验，逐一排除其他可能的解释。

首先是"位置消融实验"：研究团队测试了在不同词语位置进行自补丁的效果。结果发现，在关键实体名称的位置（比如基因名称"ABCC11"）进行补丁的效果最好，准确率提升达到64%，远超在随机位置、句首符号或句尾符号处进行补丁的效果。这证明了自补丁抓住的不是偶然的位置信号，而是确实与知识内容绑定的实体表示。

其次是"提示词控制实验"：研究团队用"思维链"（Chain-of-Thought，简称CoT）这种已知有效的提示技术来做对比。思维链的做法是引导模型一步一步地把推理过程写出来，而不是直接给出答案。结果显示，思维链确实能提高链式推理的准确率，但提升幅度远低于自补丁：以Qwen-2.5-3B为例，思维链把链式准确率从11.4%提到了28.8%，而自补丁能达到54.2%。在交叉推理任务上，思维链甚至有时候会降低准确率——可能因为强制写出推理过程反而引入了干扰。

最后是"无关补丁对照实验"：如果自补丁的效果只是来自"对模型表示做了某种扰动"而不是"传递了真正有用的知识"，那么用一个完全无关的知识的实体表示来做补丁，也应该有类似的提升。实验结果否定了这个替代假说：用无关知识的表示做补丁，效果远低于用正确知识的表示做补丁。以Qwen-2.5-1.5B为例，正确补丁准确率44%，无关补丁只有15%。这有力地说明，自补丁的提升效果来自知识本身，而不是任何形式的扰动噪音。

研究团队还做了一个跨语境的一致性验证：把从"记忆任务"的提示中提取的实体表示，搬运到"泛化任务"的提示中去。结果发现，有效的源层-目标层组合在两种不同的提示语境中高度一致，进一步排除了"补丁效果来自某种提示词捷径"的可能性。

七、从诊断工具到实用策略

自补丁作为一种"神谕工具"（oracle tool），需要对每个问题逐一搜索最优的搬运路线，这在实际使用中代价太高。更重要的问题是：能否把热力图规律转化成一个不需要逐案搜索的实用策略？

研究团队给出了一个简洁而有效的答案。既然有效的搬运路线集中在两类：从约80%深度的层搬到约50%深度的层（晚层到中层），以及从约10%深度的层搬到约50%深度的层（早层到中层），那就用这两条固定路线，不做任何逐案搜索，直接应用于所有问题。这个方案被称为"固定启发式策略"（Fixed Heuristic）。

结果相当令人鼓舞。在六个不同的模型（三种Qwen系列、三种LLaMA系列）和两类任务上，固定启发式策略能恢复神谕补丁效果的58%到75%。以链式推理任务的平均数据来看：不做任何干预时准确率为12.1%，神谕补丁达到44.4%，固定启发式策略达到35.7%——填补了约67%的差距。这个结果证明，"知用鸿沟"不只是一个理论上的问题，它在实践层面上至少可以部分地被一个简单的非搜索策略所改善。

八、这一切说明了什么：一个关于AI内部的新假说

把上述所有实验结果拼在一起，研究团队提出了一个统一的解释框架，称为"知识-电路错位假说"（knowledge-circuit misalignment hypothesis）。

在AI内部，处理不同任务需要用到不同的"计算电路"（circuit）——可以把这些电路理解为负责特定功能的神经网络子结构。多跳推理（也就是把多条知识链接起来使用）所依赖的推理电路，主要在模型的中间层发挥作用，这一点在之前的独立研究中已经有所记录。

微调的过程会让新知识被编码进模型的某些层，但这些层不一定是推理电路所在的层。更精确地说，微调倾向于把知识存储在"容易拟合"的位置——通常是早层或晚层，因为这些层的参数对损失函数最敏感，最容易被训练调整。一旦记忆任务的损失降到足够低，梯度就消失了，训练停止，知识就被"冻结"在了这些位置，而没有进一步向中层推理电路"渗透"的动力。

这个假说预测了两件事：第一，在记忆饱和之后，模型内部应该存在包含正确知识但不产生正确推理的"离路"表示；第二，手动把这些表示送到推理计算的有效位置，应该能立即改善泛化。这两件事，都被自补丁实验明确证实了。

从这个视角来看，"知用鸿沟"本质上不是知识匮乏的问题，也不是模型容量不够的问题——它是一个路由问题：知识存在，但没有被送到正确的地方参与计算。这个视角为解决这个问题指出了一个全新的方向：不应该只关注如何让模型记住更多，而应该关注如何让训练过程能够把知识对齐到推理所需要的位置。

归根结底，这项研究揭示的是AI学习过程中一个被忽视的裂缝：记住和会用，是两件截然不同的事情。就像一个学生能背出所有历史年代，却无法用这些知识回答"为什么某个事件会发生"一样，大型语言模型在面对需要灵活运用的推理任务时，也会在内部的信息路由上卡壳。这不是智能不够的问题，而是知识放错了地方。

研究团队设计的自补丁工具，相当于给AI内部做了一次精确的"导航检查"——找出知识被困在哪里，验证搬到正确位置之后能不能正常运作，然后设计了一个简单的固定策略，在不需要逐案搜索的情况下，就能弥补大部分的泛化差距。

当然，这项研究还有未完成的部分。固定策略和神谕之间仍有差距，说明知识存储位置存在个体差异，未来需要更自适应的方法。自补丁目前只在单一位置进行干预，而知识可能分散在多个位置，当前的工具可能低估了真正可恢复的上限。此外，研究至今还不能在训练早期预测哪条知识会失败泛化，如果能做到这一点，就可以在训练过程中主动干预，而不是事后补救。

这项研究带来的最大启示，也许是对"微调"这一主流知识注入方法的重新认识：提高记忆准确率，并不等于提高了知识的可用性。未来或许需要设计"对齐感知的训练"（alignment-aware training）——在优化记忆的同时，也明确地将知识推送到推理电路所在的位置，从根本上消除这道鸿沟。有兴趣深入了解的读者，可以通过arXiv:2607.08393查阅完整论文。

Q&A

Q1：大型语言模型微调之后为什么会出现"记住了但不会用"的现象？

A：根据这项研究的发现，问题出在AI内部的"信息路由"上。微调训练会让新知识被存储在早层或晚层，但推理计算所依赖的电路主要位于中间层。训练一旦结束，知识就被"冻结"在了错误的位置，无法自然流入推理所需的计算路径，导致模型能直接回忆知识，却无法在推理时使用它。

Q2：自补丁（self-patching）技术和普通的激活补丁技术有什么区别？

A：传统的激活补丁方法需要先有一条"正确运算轨迹"作为参照，对已经出错的失败案例无能为力。自补丁不需要正确轨迹，它直接把AI某一层的实体表示复制到另一层，观察这个搬运动作能否让失败的推理变成成功，因此可以直接用于诊断泛化失败的案例，这是其核心创新点。

Q3：固定启发式策略在实际场景中可以直接应用吗？

A：目前的固定启发式策略是在推理时手动干预AI的内部表示，属于后处理手段，还不是可以无缝嵌入普通微调流程的工程化方案。该策略能恢复58%到75%的理论上限，说明有实用潜力，但距离真正的工程落地还需要进一步研究，特别是需要开发能在训练阶段主动对齐知识存储位置的方法。