上海AI实验室破解大模型"学而不精"难题：让AI导师和学生协同创作练习题，效果翻倍

这项由上海人工智能实验室（Shanghai AI Laboratory）联合大连理工大学和南京大学共同开展的研究，于2026年3月以预印本形式发布，论文编号为arXiv:2604.14164，有兴趣深入了解的读者可通过该编号检索完整论文。

**研究概要：当"优等生"的笔记反而害了"普通生"**

教过书的人都知道一个令人头疼的现象：顶尖学生写的学习笔记，往往对普通学生没什么帮助。不是因为笔记内容错了，而是因为顶尖学生的思维习惯、表达方式和普通学生相差太远，普通学生拿过来死记硬背，反而越学越乱。

人工智能领域也遇到了完全相同的困境。当研究人员试图让一个能力较弱的AI模型（就像"普通学生"），通过学习一个更强大AI模型（就像"优等生"）生成的练习题来提升自己时，令人沮丧的事情发生了：这个"普通学生"不仅没有变强，反而越学越差。上海AI实验室的研究团队发现，这背后的根本原因正是那个"笔记风格太不一样"的老问题——强大的教师模型和学生模型有着截然不同的"语言习惯"，强迫学生去模仿老师的风格，反而把原本掌握的本事给忘了。

为了解决这个问题，研究团队设计了一套名为TESSY（Teacher-Student Cooperation Data Synthesis，教师-学生协同数据合成）的全新框架。这套框架的思路极为巧妙：与其让老师单独出题、学生单独答题，不如让老师和学生携手共同完成每一道练习题——老师负责写下那些需要深度思考、体现解题智慧的关键推理步骤，学生负责写下连接这些步骤的过渡语句和个人风格化表达。这样生成的练习题，既拥有老师的聪明才智，又保留了学生自己的语言风格，学生学起来自然事半功倍。

实验结果相当令人印象深刻。在代码生成任务上，使用传统方法（纯教师数据）训练的学生模型Qwen3-8B，在LiveCodeBench-Pro测试集上成绩下滑了3.25%，在OJBench测试集上成绩暴跌了10.02%；而使用TESSY方法生成的训练数据，让同一个学生模型在两个测试集上分别提升了11.25%和6.68%，形成了鲜明对比。

---

**一、为什么"跟着最强的学"反而会退步？**

要理解这个看似反常的现象，先来想象一个具体场景。你是一名刚开始学炒菜的厨师学徒，你的师父是一位大厨，做菜的技术无可挑剔。师父给你写了一份炒宫保鸡丁的详细食谱，洋洋洒洒写了好几页，里面充满了"热锅宽油""焦香四溢""回味悠长"这类行话，还有很多职业厨师才能理解的专业注记。你拿到这份食谱，却发现和你平时做菜的思路完全对不上号——你习惯用的是"先放葱姜蒜爆香，再下鸡丁炒变色"这类大白话，两种风格的"菜谱语言"差异太大，你反而不知道该怎么做了，甚至把原本会做的菜也搞砸了。

这就是论文中反复强调的"风格分歧"（stylistic divergence）问题。在大型语言模型领域，每个经过大规模训练的推理模型都形成了自己独特的"表达风格"——它们喜欢用哪些开场白、习惯怎样组织推理步骤、倾向于用什么词汇连接上下文。这些风格特征深深刻入了模型的"肌肉记忆"里。

研究团队在论文中给出了一个非常直观的例子，展示了GPT-OSS-120B（一个1200亿参数的超大型教师模型）和Qwen3-8B（一个80亿参数的学生模型）在解决同一道编程题时的不同表达方式。当面对一道关于字符串处理的动态规划题目时，GPT-OSS-120B会直接说"We need to solve a problem... We can consider removing s[i] alone: dp[i][j]=1+dp[i+1][j]..."，语气简练直接，直奔主题；而Qwen3-8B则习惯用"Okay, let's see. The problem is to..."开头，语气更口语化，过渡更自然。如果强迫Qwen3-8B去学习并模仿GPT-OSS-120B的整套表达方式，它就不得不同时应对两件事：既要学习那些真正有价值的解题策略，又要费力去适应那种完全陌生的表达习惯。这种双重负担往往让模型学得一塌糊涂，最终两边都没学好。

更令人担忧的是，这种风格差异并不只存在于不同公司的模型之间。研究人员指出，即便是同一家公司出品的同系列模型，规模大小不同，表达风格也会有显著差异。换句话说，这是一个普遍存在的深层问题，而不是某几款模型的特殊缺陷。

---

**二、把训练数据拆成"聪明的内核"和"熟悉的外壳"**

理解了问题所在，研究团队的解决思路就变得相当清晰：如果我们能把每一段训练数据拆分成两种性质不同的部分——一种是真正体现解题能力的"核心推理内容"，另一种是只起到语言风格作用的"连接过渡表达"——那么只需要让老师负责前者、学生负责后者，就能生成一份"内容来自老师、风格来自自己"的理想练习题。

论文用了严格的数学语言来描述这个目标。研究团队将模型生成的每一个词（token）分为两类：一类叫做"能力词"（capability tokens），指那些直接和任务求解相关的词，比如代码语句、数学公式、关键的推理判断；另一类叫做"风格词"（style tokens），指那些和任务本身关系不大、只是起到语气衔接作用的词，比如"好的，我们来看看"（okay, let's see）、"但是等一下"（but wait）、"换句话说"（in other words）这类表达。

这种划分的意义在于：训练模型时真正重要的是让模型学好"能力词"的分布规律，而"风格词"的学习对任务表现帮助不大，但如果"风格词"和模型原本的习惯相差太远，却会严重干扰"能力词"的学习。这就好比你在学一道菜的秘方时，关键信息是"加多少盐、火候几成、翻炒几下"，但如果整份食谱用的是你完全不熟悉的方言，光是搞懂方言就会耗尽你的注意力，根本没心思记住那些关键步骤。

基于这个框架，研究团队设立了一个明确的设计目标：合成数据中，所有"能力词"应当来自教师模型（保证推理质量），所有"风格词"应当来自学生模型（保证风格一致）。这个目标听起来简单，实现起来却颇有挑战——毕竟模型生成文字时是一个词接一个词往下写的，怎么能精确控制某些词由这个模型写、某些词由那个模型写呢？

---

**三、"接力赛"式的协同生成机制：两个模型交替执笔**

TESSY的核心机制是一种交替接力的生成方式，就像两个作者共同撰写一篇文章——其中一人擅长写深刻的分析段落，另一人擅长写流畅的过渡句子，两人轮流执笔，各司其职。

具体来说，整个合成过程从学生模型开始写作。这是因为模型生成的推理过程通常以一句风格化的开场白打头，比如"好的，来分析一下这道题"，这类话由学生模型来写最合适——风格自然，符合学生自己的习惯。学生写了几个词之后，系统会判断这些词是否还属于"风格词"的范畴。一旦学生模型开始写出"能力词"的苗头，就立刻交棒给教师模型接着写。教师模型写完一段核心推理内容后，当它开始写过渡性的风格句子时，再交还给学生模型继续。如此往复，直到整个推理过程结束。

最后，当模型需要给出最终答案时，TESSY选择完全交由学生模型来写。研究团队解释说，最终答案部分往往风格特征最为明显——不同模型在这部分的表达方式差异最大，因此让学生模型完全负责这部分是最稳妥的选择。实验也证实了这一决策的正确性：如果强行让教师模型来写最终答案，在LiveCodeBench-Pro上成绩会下滑12.33%，在OJBench上会下滑13.58%，损失相当惨重。

然而，这套机制面临一个关键的技术难题：怎么知道在哪个位置应该从"风格词"切换到"能力词"，反之亦然？这就是所谓的"边界判断问题"。如果切换时机不对，比如在一句话说到一半时强行换人，不仅语义会断裂，还可能产生前言不搭后语的奇怪文本。

---

**四、边界预测器：专门负责找到"换人"时机的小助手**

为了解决边界判断问题，研究团队设计了一个"先写再回退"（generate-then-rollback）的策略，并训练了两个专门的小模型，称为"边界预测器"（boundary predictor）。

运作原理如下：当学生模型开始生成文本时，它一次写20个词（这个数字是研究团队根据经验设定的，称为"最大词数k"）。写完之后，"风格词边界预测器"会检查这20个词，找到最后一个还属于"风格词"的位置，然后把这个位置之后的词全部删掉——相当于回退到边界处。被保留下来的词全是风格词，然后系统判定"是时候换教师模型写了"。教师模型接过来同样写20个词，然后"能力词边界预测器"找到最后一个"能力词"的位置，删掉之后的词，把剩余部分交还给学生模型。

这两个边界预测器本身也是小型神经网络模型，基于Qwen3-0.6B-Base（一个参数量仅有6亿的小模型）训练而成。训练方式是：随机采样10万段由教师模型和学生模型各自生成的推理文本，然后用一个精心设计的提示词引导教师模型去标注每段文本中哪些是"风格词"、哪些是"能力词"，再把这些标注数据用来训练边界预测器。由于这两个边界预测器足够小，它们在整个生成过程中的算力开销可以忽略不计，不会拖慢整体效率。

值得一提的是，整个TESSY系统基于vLLM框架实现，并启用了"前缀缓存"（prefix caching）技术来支持高效的模型切换——因为教师模型和学生模型需要频繁交替接力，如何快速完成这种切换是工程实现上的一大挑战。

---

**五、实验结果：数字说话，差距一目了然**

研究团队围绕代码生成任务设计了详尽的实验，使用GPT-OSS-120B作为教师模型，Qwen3-8B作为学生模型，并准备了8万道来自编程竞赛的题目作为训练数据（其中包含3.7万道不重复的题目）。所有模型都训练了最多9轮，以确保基线方法有充足的训练机会。

评测覆盖了代码生成领域的四个权威测试集：LiveCodeBench-V5（涵盖2024年8月至2025年2月的题目）、LiveCodeBench-V6（涵盖2025年2月至2025年5月的题目）、LiveCodeBench-Pro以及OJBench。为了测试模型是否出现了"学了编程、忘了数学"的迁移退化，研究团队还额外评测了数学推理（AIME 2024、AIME 2025、OlympiadBench）和科学问答（GPQA）这些与代码完全不同的领域。

在所有对比方案中，研究团队设计了六种不同的基线方法，涵盖了从"完全依赖学生自己"到"完全依赖教师"的整个谱系。"拒绝采样"（Teacher-Score）方法让学生模型生成5个候选答案，再由教师模型选出最好的一个；"自蒸馏"（Teacher-Reference）方法让教师先生成一个参考答案，然后学生模型基于这个参考重新生成推理过程；"教师给答案学生想思路"（Teacher-Answer）方法让学生负责推理、教师写最终答案；"教师想思路学生给答案"（Teacher-Think）方法刚好相反；"混合数据"（Teacher-Mix）方法按照1:1的比例混合教师生成的数据和学生生成的数据；"纯教师"（Teacher-Only）方法则完全使用教师生成的训练数据。

实验结果呈现出了一条清晰的规律：教师参与越多，学生成绩下滑越严重。纯教师数据训练的方案在OJBench上造成了10.02%的下滑，在LiveCodeBench-Pro上下滑3.25%；混合数据方案稍好一些，但依然是下滑的；只有"拒绝采样"方案在LiveCodeBench-Pro上取得了微弱的0.71%提升，但在OJBench上同样是下滑的。换句话说，在所有六种传统方法中，没有一种能让Qwen3-8B在全部四个代码测试集上都取得提升。

TESSY则完全打破了这个规律。尽管TESSY生成的数据中有高达77.65%的词来自教师模型（这比"混合数据"方案的50%还高得多），但它在全部四个代码测试集上均实现了提升，分别提升了7.78%（LiveCodeBench-V5）、5.85%（LiveCodeBench-V6）、11.34%（LiveCodeBench-Pro）和6.68%（OJBench）。

在数学和科学的跨领域测试上，TESSY同样表现稳健：AIME 2024和AIME 2025分别提升了3.75%和0.93%，GPQA和OlympiadBench基本保持不变。反观纯教师方案，它在GPQA上下滑4.35%、在AIME 2025上下滑2.71%、在OlympiadBench上下滑2.05%，再次印证了不加处理的教师数据对学生模型的全面伤害。

---

**六、换了不同的"老师"和"学生"，效果还稳定吗？**

一个合理的质疑是：TESSY的成功是否只适用于特定的模型组合？为此，研究团队进行了多项延伸实验。

在换用不同教师模型的实验中，研究团队分别测试了DeepSeek-R1-0528（简称DS-R1）和Qwen3-235B-A22B-Thinking-2507（简称Qwen3-235B）作为教师的情况。有趣的是，即便使用Qwen3-235B这个与Qwen3-8B同属一个家族的模型作为教师，TESSY依然比纯教师方案在OJBench上高出1.07%。这意味着就算是"同一家人"之间，风格差异依然足以影响训练效果。当换用来自完全不同体系的DS-R1作为教师时，纯教师方案导致成绩下滑，而TESSY则提升了3.45%；换用GPT-OSS时，差距更拉大到16.79%。这说明教师和学生的"血缘关系"越远，TESSY带来的好处就越突出。

在换用不同学生模型的实验中，研究团队将学生从Qwen3-8B换成了规模更大的混合专家架构模型Qwen3-30B-A3B（300亿参数的混合专家模型，实际激活约30亿参数）。结果显示，TESSY让这个更强的学生模型在LiveCodeBench-Pro和OJBench上分别提升了6.37%和10.13%，相比纯教师方案额外多赚了5.52%和8.41%。值得注意的是，Qwen3-30B-A3B因为参数量更大，对纯教师数据有一定的"消化能力"，用纯教师数据训练也有些许提升，但幅度远不及TESSY。

研究团队还进行了一个颇具启发性的"交叉实验"：用Qwen3-30B-A3B生成的TESSY数据去训练Qwen3-8B，反之亦然。结果发现，训练数据的生成模型和实际训练的目标模型不一致时，性能会出现显著下滑——哪怕这两个模型同属Qwen3系列。具体来看，用Qwen3-30B-A3B的风格数据训练Qwen3-8B，在OJBench上下滑了1.94%；反过来，用Qwen3-8B的风格数据训练Qwen3-30B-A3B，下滑了2.8%。这个发现强调了一个核心观点：TESSY之所以有效，关键在于生成训练数据时用的"学生"和真正去学习这些数据的"学生"必须是同一个模型。

---

**七、TESSY生成的数据质量有多好？**

除了观察训练后的模型表现，研究团队还直接比较了TESSY生成的数据本身的质量。在OJBench上，他们让GPT-OSS-120B、Qwen3-8B以及TESSY分别独立解答测试题（而不是用来训练），以此衡量生成质量的高低。

结果出人意料。在同等的最大生成长度（40K词）限制下，TESSY生成的答案正确率比GPT-OSS-120B高出了10.99%。考虑到TESSY的22.4%词汇是由能力较弱的Qwen3-8B贡献的，这个结果相当令人惊讶。当把GPT-OSS-120B的生成长度上限放宽到48K时，它依然比TESSY低6.04%；放宽到64K时，才终于略微超过TESSY。

这个现象背后有一个有趣的解释。研究团队观察到，TESSY生成的响应平均比纯教师方案短得多。与GPT-OSS-120B单独生成相比，TESSY减少了平均7594个词；与DeepSeek-R1相比，减少了8938个词；与Qwen3-235B相比，减少了2816个词。甚至比Qwen3-8B单独生成还要短。研究团队推测，这是因为学生模型在接过接力棒时，倾向于较早地结束推理过程，它的这种"短平快"特性反过来引导了教师模型也适时收尾，避免了冗长的过度推理。更短的推理过程不仅节省了计算资源，在给定的长度限制下反而能完成质量更高的解答。

此外，研究团队还通过数据分布可视化进一步验证了TESSY的效果。他们用TF-IDF方法将每个样本转换为词袋向量，再用主成分分析（PCA）在二维平面上画出学生数据、教师数据和TESSY数据的分布。在三组不同教师模型的实验中，TESSY的数据分布都表现出向学生数据靠拢的一致趋势，直观印证了TESSY确实在拉近训练数据与学生本身分布的距离。

---

**八、几个有趣的额外发现**

研究团队在实验过程中还积累了几项值得单独拿出来说道的发现。

关于"从推理模型出发"与"从基础模型出发"的选择，一个自然的问题是：既然对推理模型做精调这么麻烦，干嘛不直接从最基础的模型（Qwen3-8B-Base）出发重新训练呢？实验给出了清晰的答案。无论是纯教师方案还是TESSY方案，从基础模型出发训练的最终成绩都比从推理模型出发低了10.99%以上，二者之间的差距甚至比纯教师方案和TESSY之间的差距更大。这说明推理模型经过大规模后训练积累的知识是宝贵财富，放弃它从零开始的损失远大于精调过程中可能出现的遗忘。当然，一个额外的好消息是，TESSY即便应用于基础模型，依然比纯教师方案更有效，这说明"风格冲突"是各类模型在精调时的通病，并非推理模型独有的问题。

关于LoRA（一种节省计算资源的参数高效微调方法）的表现，研究团队发现，在推理模型上使用LoRA（设置秩为8，缩放系数为16）并不能有效缓解风格冲突带来的伤害。LoRA训练后的模型在LiveCodeBench-Pro和OJBench上的成绩跌幅比全参数精调还要惨烈，甚至远低于从未精调的原始Qwen3-8B基线。这与通常认为"LoRA可以减轻遗忘"的直觉相悖，说明在推理模型面临的这种分布冲突问题上，小幅度的参数更新非但不够用，反而可能破坏模型内部的精妙平衡。

关于用系统提示（system prompt）隔离分布冲突的工程方案，研究团队也进行了测试。这种方法的思路是在训练时加一个特殊的系统提示，以区分新引入的训练数据和模型原本见过的数据，希望通过这种"划定专属空间"的方式减轻风格冲突。实验结果显示，这个方案确实有一定效果——LiveCodeBench-Pro提升了5.28%，OJBench提升了2.55%——但相比TESSY仍有显著差距，且跟未加精调的Qwen3-8B基线相比依然是下滑的。

---

**结语：给AI教育系统的一个重要提醒**

说到底，TESSY这项研究传达的核心信息，其实和教育学里的一个古老道理不谋而合：好的学习材料不仅要内容正确，还要符合学习者的接受习惯。一份用学习者陌生语言写成的优质教材，效果往往比不上一份内容稍差但语言熟悉的普通教材。

上海AI实验室的研究团队用严谨的实验证明，这个原则在AI模型训练中同样成立，甚至影响更为显著。他们找到了一种精巧的方案，在不损失教师模型推理能力的前提下，让训练数据"讲学生的语言"。

当然，这项研究也有其局限性。研究团队坦诚地指出：当生成长度不受限制时，纯教师方案的上限依然高于TESSY，这意味着通过学生模型引入的"短平快"倾向，在某些场景下也会限制推理的深度和广度。此外，TESSY目前没有集成"拒绝采样"等数据质量提升技术，研究团队认为，在解决了分布冲突问题之后，进一步引入这些质量优化手段，将是提升效果的下一步自然延伸。

对于那些正在使用或计划使用大型语言模型的研究者和工程师来说，这项研究提出了一个值得深思的问题：在给AI模型提供训练数据时，是否也应该像给学生选教材一样，不只关注内容质量，还要考虑风格适配度？随着推理模型越来越普及，这个问题的答案或许将左右整个领域的技术路线。

有兴趣进一步了解TESSY技术细节的读者，可通过arXiv:2604.14164查阅完整论文，研究团队也在GitHub（CoopReason/TESSY）公开了代码实现，并在Hugging Face（CoopReason/TESSY-Code-80K）发布了训练数据集，可供直接使用。

---

Q&A

Q1：TESSY框架是怎么判断哪些词该由教师模型写、哪些词该由学生模型写的？

A：TESSY使用两个专门训练的"边界预测器"小模型来解决这个问题。具体做法是：每次让当前负责写作的模型先写20个词，然后边界预测器检查这20个词，找到最后一个属于当前类型（风格词或能力词）的位置，删掉后面的词，再把接力棒交给另一个模型。这两个边界预测器基于Qwen3-0.6B-Base训练，使用教师模型标注的10万段文本数据。

Q2：为什么用教师模型生成的数据训练学生模型会导致成绩下降？

A：根本原因是教师模型和学生模型的"表达风格"差异太大。每个经过大规模训练的推理模型都形成了独特的语言习惯，比如特定的开场白、连接词和推理组织方式。强迫学生模型同时学习教师的解题思路和陌生的表达风格，会导致学习负担过重，甚至破坏模型原本掌握的知识，造成"灾难性遗忘"。论文实验显示，纯教师数据最高可导致学生模型在OJBench上成绩下滑10.02%。

Q3：TESSY生成的训练数据里有将近80%来自教师模型，为什么反而不会导致成绩下降？

A：关键在于TESSY精准地控制了"哪种词由谁来写"。教师模型贡献的是那些直接体现解题智慧的"能力词"，学生模型贡献的是连接过渡用的"风格词"。这样生成的数据虽然大部分词来自教师，但整体的语言风格却是学生自己熟悉的。学生在学习时不需要花精力去适应陌生的表达方式，可以把全部注意力放在真正重要的推理逻辑上，因此学习效果反而大幅提升。