大语言模型为什么总是"学会"错误的东西？浙江大学研究团队找到了让AI更聪明的全新方法

这项由浙江大学计算机科学与技术学院韩凯荣、赵文硕、赵子玉等研究者，以及华为诺亚方舟实验室叶俊剑、潘陆嘉等专家共同完成的研究，发表于2025年9月的arXiv预印本平台。有兴趣深入了解的读者可以通过论文标题"CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models"在arXiv平台搜索访问完整论文。

当我们使用ChatGPT、文心一言这样的大语言模型时，有没有发现一个奇怪现象？这些AI似乎很聪明，能回答各种问题，但有时却会犯一些莫名其妙的错误，特别是当遇到与训练数据稍有不同的新情况时，它们的表现就会急剧下降。这就像一个学生在课堂上表现很好，但一到实际应用就手忙脚乱。

问题的根源在于，现在的大语言模型就像一个只会死记硬背的学生，它们学会了数据中各种表面的关联关系，但并不真正理解事物之间的因果关系。比如说，模型可能学会了"穿大码衣服的人容易得癌症"这样的虚假关联，仅仅因为在训练数据中，体重重的人既需要大码衣服，又更容易患癌。但真正的致病原因是体重，而不是衣服尺码。

研究团队发现，这种问题在AI领域被称为"虚假关联"现象。就像古代人认为公鸡打鸣导致太阳升起一样，模型往往抓住了表面现象，却错过了真正的因果关系。更糟糕的是，当环境发生变化时（比如测试数据与训练数据不同），这种基于虚假关联的判断就会彻底失效。

为了解决这个根本性问题，浙江大学的研究团队开发了一种名为"因果注意力调优"（Causal Attention Tuning，简称CAT）的全新训练方法。这种方法的核心思想是在模型的"注意力机制"中注入真正的因果知识，让模型学会关注真正重要的因果因素，而不是被表面的关联关系误导。

研究团队还专门设计了一个叫做"虚假标记游戏"（Spurious Token Game，简称STG）的测试基准，用来专门检验模型是否真的学会了因果关系。这个测试就像给学生出一道"变式题"，看看他们是真的理解了原理，还是只会套公式。

实验结果令人振奋。使用CAT方法训练的模型，在面对新环境时的表现有了显著提升。比如，Llama-3.1-8B模型在某个测试任务上的表现从64.5%提升到了90.5%，而Qwen模型的表现更是从25.4%飙升到55.9%。这就像一个原本只会背书的学生，突然学会了举一反三。

一、问题的发现：AI为什么会"学偏"

当我们训练一个大语言模型时，就像教一个孩子学习一样，我们会给它大量的文本数据。但这里有个问题：这些数据中充满了各种关联关系，有些是真正的因果关系，有些却只是巧合。

研究团队通过一个医学预测的例子来说明这个问题。在训练数据中，他们设计了一个癌症风险预测任务。数据包含了体重、运动量、衣服尺码、荷尔蒙水平等信息。真正影响癌症风险的因素是体重和运动量（因果因素），但衣服尺码和荷尔蒙水平虽然与癌症风险有统计关联，却不是真正的原因（虚假因素）。

在这个设计中，衣服尺码的数值恰好与体重相同（都是10），荷尔蒙水平是运动量的一半。所以在训练数据中，模型既可以通过真正的因果因素（体重、运动）来预测癌症风险，也可以通过虚假因素（衣服尺码、荷尔蒙）来预测，而且准确率差不多。

问题出现在测试阶段。当研究人员改变测试环境，让衣服尺码变成2（而体重仍然是10）时，如果模型学到的是虚假关联，它就会错误地认为癌症风险降低了。而如果模型真正学会了因果关系，它应该主要关注体重和运动量，对衣服尺码的变化不敏感。

实验结果显示，传统训练方法得到的模型在这种"分布外"测试中表现很差。它们的注意力机制会同等地关注所有相关因素，包括那些虚假的关联。这就像一个医生在诊断时，既看体重指标，也认真考虑病人穿多大码的衣服，显然是抓错了重点。

更深层的问题在于，现有的Transformer架构本身就倾向于捕获所有的统计关联，而不区分哪些是真正的因果关系。注意力机制会计算每个词与其他词之间的关联强度，但它无法区分这种关联是因果关系还是偶然关联。这就像一个学生在学习时，无法区分哪些是重点知识，哪些只是无关紧要的细节。

研究团队通过可视化分析发现，在传统训练后，模型的注意力分布在因果因素和虚假因素之间几乎是平均的。这意味着模型并没有学会真正的因果逻辑，而是同时依赖了所有相关的信息。当环境变化时，这种策略就会失效。

这个发现揭示了当前大语言模型的一个根本性局限：它们很擅长识别模式和关联，但在理解因果关系方面存在明显不足。这不仅影响了模型的泛化能力，也限制了它们在需要因果推理的实际应用中的表现。

二、解决方案：让AI学会"透过现象看本质"

面对这个根本性问题，研究团队开发的CAT方法就像给AI装上了一副"因果关系眼镜"，让它能够透过表面现象，抓住事物之间的真正因果联系。

整个CAT方法的工作流程可以比作训练一个侦探。首先，需要有经验的老侦探（人类专家）告诉新手侦探哪些线索是关键的，哪些只是干扰信息。然后，通过专门的训练，让新手侦探学会自动识别和重点关注这些关键线索。

第一步是"因果先验知识提取"。这个过程就像制作一本"侦查手册"。人类专家会手工标注一些样本，明确指出哪些词语之间存在因果关系。比如在数学题中，数字、实体、运算符号以及它们之间的因果关系是解题的关键。专家会写出几个标准样本，明确标出"65只鹰是由20只秃鹰、15只角鹰和30只冠鹰计算得出"这样的因果关系。

但是，让人类专家手工标注大规模数据集成本太高，就像让一个老侦探亲自处理所有案件一样不现实。所以研究团队设计了一个自动化流程：让一个"助理大语言模型"（比如ChatGLM-4）根据专家提供的几个样本，自动为大规模数据生成因果关系标注。

这个过程通过精心设计的提示词来完成。研究团队会告诉助理模型："你需要评估数学推理文本数据中标记之间的因果重要性关系。其中，包含运算符号的实体、数值和关键词对数值推理至关重要。"然后提供具体的样本格式，让助理模型照着这个格式为新数据生成标注。

生成的标注会被转换成一个"邻接矩阵"，这听起来很专业，其实就像一个关系表格。如果词A对词B有因果影响，就在表格的对应位置标记为1，否则标记为0。这样就得到了一个结构化的因果关系地图。

第二步是"因果约束注意力训练"，这是整个方法的核心创新。研究团队在模型的注意力机制中引入了"重新注意力"机制。这就像训练一个学生学会有重点地听课，而不是对所有信息都一视同仁。

具体来说，研究团队会计算模型在所有层和所有注意力头上的平均注意力分数。然后，对于每一行（代表一个词），他们会分别计算这个词对"有因果关系的词"的平均注意力分数，以及对"没有因果关系的词"的平均注意力分数。

接下来，研究团队引入了一个巧妙的损失函数。这个函数会确保每个词对"有因果关系的词"的注意力分数至少是对"无关词"注意力分数的α倍。这里的α是一个超参数，类似于一个"聚焦系数"。如果α设置为2，就意味着模型对因果相关词的注意力至少要比对无关词的注意力强2倍。

这个训练过程就像教一个学生学会重点听讲。当学生（模型）的注意力分配不当时，老师（损失函数）就会给出指导，告诉学生应该更多关注重要内容，减少对无关信息的关注。通过反复训练，学生逐渐学会了自动识别和重点关注因果相关的信息。

整个训练过程中，总损失函数包含两部分：传统的下一个词预测损失和新增的因果注意力损失。通过一个权重参数γ来平衡两者的重要性。这就像在保持原有学习能力的基础上，额外培养因果推理能力。

研究团队还考虑了实际应用的便利性。CAT方法可以与流行的参数高效微调方法（如LoRA）无缝结合，这意味着即使是计算资源有限的研究团队也能使用这种方法来改进他们的模型。这就像为普通人也提供了使用专业工具的机会。

三、验证效果：从理论到实践的突破

为了验证CAT方法的效果，研究团队不仅设计了专门的测试基准，还在多个实际任务上进行了广泛的实验。这就像一个新药不仅要通过实验室测试，还要经过各种临床试验才能证明其有效性。

"虚假标记游戏"基准测试是研究团队专门设计的"试金石"。这个测试分为两个版本：STG_E（简单版）和STG_H（困难版）。STG_E就像基础训练，包含8个变量，答案是简单的"高风险"或"低风险"。STG_H则像进阶测试，包含14个变量，答案是0到100的连续数值。

在STG_E中，研究团队进一步设计了三种不同规模的数据集：小规模（STG_S，400个训练样本）、中等规模（STG_M，800个训练样本）和大规模（STG_L，1600个训练样本）。这样的设计可以测试模型在不同数据量下的学习能力。

实验结果显示了CAT方法的显著优势。以TinyLlama-1.1B模型为例，在STG_M任务的分布外测试中，传统方法的准确率只有60.75%，而使用CAT方法后准确率提升到了66.25%。更令人印象深刻的是，在大规模数据（STG_L）的分布外测试中，CAT方法的准确率达到了77%，相比传统方法的65.25%有了明显提升。

对于更大的模型，效果更加显著。Llama-3.1-8B模型在STG_M的分布外测试中，使用CAT方法后准确率从64.5%跳升到90.5%，这是一个惊人的26个百分点的提升。在困难的STG_H任务上，Qwen模型的分布外测试准确率从25.4%提升到55.9%，提升幅度超过30个百分点。

研究团队通过注意力可视化分析揭示了这些改进的原因。在传统训练中，模型的注意力在因果因素、虚假因素和无关因素之间的分布相对平均，这意味着模型无法区分重要和不重要的信息。而使用CAT方法训练后，模型的注意力明显向因果相关的词汇倾斜，形成了更加集中和准确的注意力模式。

更有趣的发现是，随着α参数的增加，模型的性能呈现出先上升后下降的趋势。当α在0.15到0.25之间时，模型通常表现最佳。这表明适度的因果关注是最优的，过度强调因果关系可能会破坏模型原有的注意力分布，反而降低性能。

研究团队还在五个广泛使用的数学和推理数据集上测试了CAT方法的泛化能力，包括MAWPS、SVAMP、ARC-E、GSM8K和ASDiv。结果显示，CAT方法在这些实际任务上也带来了一致的性能提升。例如，在Qwen2.5-1.5B全参数微调设置下，CAT方法平均带来了2.52%的性能提升。

特别值得注意的是跨域泛化实验。研究团队在GSM8K数据集上训练模型，然后在其他数学推理数据集上测试。这就像让一个学生用一套教材学习，然后用另一套教材考试。结果显示，CAT方法在这种跨域设置下仍然保持了优势，证明了其强大的泛化能力。

成本分析显示，CAT方法的实际应用成本也是可接受的。使用ChatGLM-4-air作为助理模型生成因果标注，每百万词汇的成本约为0.14美元，相比GPT-4o的18美元成本大幅降低。这使得该方法在实际应用中具有很好的经济可行性。

研究团队还验证了不同助理模型的效果。虽然使用GPT-4o作为助理模型会带来略好的性能，但考虑到成本效益，ChatGLM-4-air已经能够提供足够好的结果。这就像选择工具时，不一定需要最贵的，适合的就是最好的。

四、方法细节：如何让AI具备"火眼金睛"

CAT方法的实现细节体现了研究团队的巧思，整个过程就像为AI装配了一套精密的"因果识别系统"。

在因果知识提取阶段，研究团队面临了三个主要挑战。首先，自然语言中的因果关系很难用简单的规则来识别，不像数学公式那样直接明了。比如在一个数学应用题中，"20只秃鹰"、"15只角鹰"和"总共多少只鹰"之间的因果关系虽然明显，但要让计算机自动识别这种关系并不容易。

第二个挑战是分词器的设计可能将一个完整的词切分成多个片段。比如"20只"可能被切分为"20"和"只"两个标记。这增加了建立准确因果关系映射的复杂性，就像试图在被撕碎的拼图中找到正确的连接方式。

第三个挑战是大规模人工标注的成本问题。如果完全依靠专家手工标注，成本会高得难以承受，就像让顶级厨师亲自做每一道菜一样不现实。

为了解决这些问题，研究团队设计了一套"师傅带徒弟"的自动化流程。人类专家首先为每个下游任务精心设计几个样本，就像师傅示范几道经典菜品。这些样本会明确标出关键因果关系，比如在数学推理中，数值、实体、运算符号以及它们之间的逻辑关系。

以一个具体的SVAMP数学题为例，原题是："如果他们已经在659英尺深处，洞穴深762英尺，还需要多深才能到达洞穴底部？答案：103.0"。专家会标注出这样的因果关系：{"762英尺深":["洞穴"],"直到":["还需要多深"],"答案":["659英尺","762英尺","直到","洞穴底部"],"103.0":["659英尺","和","762英尺","答案"]}。

这些手工样本随后被输入助理大语言模型，配合详细的任务描述和格式要求。助理模型会学习这些样本的模式，然后为大规模数据集自动生成类似的因果关系标注。这就像徒弟学会了师傅的手艺后，可以独立制作大量产品。

生成的文本标注随后被转换为结构化的邻接矩阵。具体来说，如果第i个标记和第j个标记之间存在因果关系，矩阵中的位置(i,j)就被设置为1，否则为0。这个矩阵实际上是一个因果关系的"地图"，清晰地标示出了每个词语的重要性。

在因果约束注意力训练阶段，研究团队重新设计了注意力机制的训练目标。传统的注意力机制计算的是查询向量和键向量的相似度，然后用softmax函数归一化得到注意力权重。这个过程虽然能捕获词语间的关联，但无法区分关联的性质。

CAT方法引入的改进是在训练过程中增加了一个额外的损失函数。这个函数会监督模型的平均注意力分布，确保模型更多地关注因果相关的词语。具体来说，研究团队计算每个词语对其他词语的注意力分数，然后分别统计对"因果相关词语"和"因果无关词语"的平均注意力。

损失函数的设计很巧妙：它要求每个词语对因果相关词语的注意力至少是对因果无关词语注意力的α倍。如果这个条件不满足，损失函数就会产生惩罚信号，推动模型调整其注意力分布。这就像一个严格的教练，不断纠正学员的动作，直到形成正确的肌肉记忆。

参数α的选择对模型性能有重要影响。研究团队通过大量实验发现，α在0.05到0.35之间时效果最佳。太小的α无法有效引导注意力，太大的α又会过度干扰原有的注意力机制。这需要根据具体任务和模型进行调整，就像调音师需要根据不同乐器调整音准一样。

为了平衡因果约束和原有的语言建模目标，总损失函数是两部分的加权和：传统的下一词预测损失加上新的因果注意力损失。权重参数γ采用了指数衰减的策略，初始时γ较大以强调因果学习，随着训练进行逐渐减小以避免过度干扰。

研究团队还特别考虑了计算效率。由于需要处理多头多层的注意力，他们采用了平均化策略来减少计算复杂度。同时，CAT方法与LoRA等参数高效微调技术完全兼容，使得即使计算资源有限的团队也能应用这种方法。

五、实际应用：从实验室走向现实世界

CAT方法的价值不仅体现在实验室的测试数据上，更重要的是它为解决现实世界中AI应用的关键问题提供了可行的方案。

在医疗诊断领域，这种因果推理能力尤其重要。传统的AI模型可能会学到一些虚假的关联关系，比如"住在某个地区的人更容易得某种病"，但真正的原因可能是该地区的环境污染或生活习惯。CAT方法训练的模型能够更好地识别真正的致病因素，减少因虚假关联导致的误诊。

在金融风控场景中，模型需要准确评估借贷风险。传统模型可能会错误地将一些表面特征（如用户使用的手机品牌）与还款能力联系起来，而忽略真正重要的因素（如收入稳定性、负债比例）。CAT方法能够帮助模型聚焦于真正的风险因素，提高风控的准确性和公平性。

在教育领域，AI辅助学习系统需要准确识别学生的知识薄弱点。传统方法可能会被一些表面现象误导，比如认为做题速度慢就是理解能力差。而CAT方法训练的系统能够更准确地识别学生真正需要帮助的知识点，提供更有针对性的辅导。

研究团队的实验还揭示了一个重要发现：模型规模的扩大并不能自动解决虚假关联问题。在某些测试中，当数据规模从小到中等时，虽然模型的IID性能继续提升，但OOD性能反而下降了。这说明简单地增加模型参数或数据量并不能根本解决问题，需要像CAT这样的方法论创新。

成本效益分析显示，CAT方法具有很好的实用性。使用ChatGLM-4-air作为助理模型，每百万词汇的标注成本约为1.09元人民币（约0.14美元），这使得大规模应用成为可能。相比之下，完全依靠人工专家标注的成本将高出几个数量级。

研究团队还测试了不同助理模型的效果。结果显示，虽然使用更强大的模型（如GPT-4o）作为助理能带来略好的性能，但性价比最高的仍然是ChatGLM-4-air。这为实际应用提供了灵活的选择空间，用户可以根据自己的预算和性能需求选择合适的配置。

CAT方法的另一个优势是其通用性。实验显示，该方法不仅在专门设计的STG基准上表现优秀，在MAWPS、GSM8K、ARC-E等广泛使用的实际任务上也带来了一致的改进。这表明CAT捕获的是一种通用的因果推理能力，而不是针对特定任务的技巧。

跨域泛化实验进一步证明了这一点。当模型在一个数学推理数据集上训练，然后在其他数学推理数据集上测试时，CAT方法仍然保持了优势。这种跨域泛化能力对于实际应用非常重要，因为现实世界的问题往往与训练数据存在分布差异。

研究团队还进行了详细的消融实验，验证了方法中每个组件的必要性。实验显示，去掉指数衰减的权重策略会导致性能略有下降，证明了平衡不同训练目标的重要性。同时，α参数的选择需要根据具体任务进行调整，这为未来的研究提供了优化方向。

从技术实现角度看，CAT方法与现有的训练流程兼容性良好。它可以作为一个插件式的改进，集成到现有的模型训练管道中，不需要重新设计整个系统架构。这大大降低了技术迁移的门槛，使得更多的研究团队和公司能够受益于这项技术。

未来，随着更多研究团队的参与和实际应用的反馈，CAT方法有望在更多领域展现其价值。特别是在需要强因果推理能力的应用场景中，这种方法可能会成为标准配置，就像现在的注意力机制已经成为大语言模型的标准组件一样。

结论

说到底，这项研究解决的是AI领域一个根本性问题：如何让机器真正理解因果关系，而不是仅仅记住表面的关联。就像教会一个学生理解原理而不是死记硬背一样，CAT方法为大语言模型提供了一种学会"透过现象看本质"的能力。

归根结底，这种改进对我们每个人都有实际意义。当我们使用AI辅助决策时，无论是医疗诊断、金融投资还是教育辅导，我们都希望AI能够基于真正的因果关系而不是虚假的关联来给出建议。CAT方法的成功应用意味着未来的AI系统将更加可靠和值得信赖。

这项研究还揭示了一个重要洞察：技术的进步不仅仅在于让模型变得更大更快，更在于让模型变得更聪明。通过在训练过程中注入人类的因果先验知识，我们可以引导AI学会更接近人类的思维方式。这种"人机协作"的训练模式可能会成为未来AI发展的重要方向。

当然，这项研究也有其局限性。研究团队坦诚地指出，他们的方法需要人类专家提供因果关系的先验知识，这可能会无意中引入一些偏见。同时，现实世界中的因果关系往往比实验室环境中的情况更加复杂和微妙。如何将这种方法扩展到更复杂的因果推理任务中，仍然是一个有待探索的问题。

但无论如何，CAT方法为我们提供了一个有希望的起点。它证明了通过巧妙的方法设计，我们可以显著改进AI系统的推理能力，让它们更接近人类的认知水平。随着更多研究的深入和实际应用的推广，我们有理由相信，未来的AI将不仅仅是一个强大的模式匹配器，更会成为一个真正理解世界因果关系的智能伙伴。

如果你对这项研究的技术细节或实验数据感兴趣，可以通过搜索论文标题"CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models"在arXiv平台找到完整的研究报告。这项由浙江大学和华为诺亚方舟实验室合作完成的研究，不仅在学术上具有重要意义，更可能在未来的AI应用中发挥重要作用。

Q&A

Q1：CAT方法是什么？它解决了什么问题？

A：CAT（因果注意力调优）是浙江大学研究团队开发的一种新型AI训练方法。它主要解决大语言模型容易学到虚假关联而非真正因果关系的问题。比如模型可能错误地认为穿大码衣服导致癌症，而忽略真正的原因是体重。CAT通过在注意力机制中注入因果知识，让模型学会关注真正重要的因果因素。

Q2：CAT方法的训练效果如何？有什么具体改进？

A：实验结果显示CAT方法效果显著。比如Llama-3.1-8B模型在分布外测试中的准确率从64.5%提升到90.5%，Qwen模型从25.4%提升到55.9%。在多个数学推理任务上，CAT方法平均带来1.56%的性能提升。更重要的是，使用CAT训练的模型在面对新环境时表现更稳定。

Q3：普通人能使用CAT方法吗？成本高吗？

A：CAT方法的实际应用成本相对较低。使用ChatGLM-4-air作为助理模型生成训练数据，每百万词汇的成本约为0.14美元，比使用GPT-4o便宜很多。该方法还兼容LoRA等参数高效训练技术，降低了计算资源需求。不过目前主要面向研究团队和AI公司，普通用户还需要等待集成到具体产品中。