大语言模型的"转学生"之路：中科院揭示AI持续学习的秘密规律

这项由中国科学院自动化研究所的王新进、孙昊等研究人员领导的突破性研究发表于2025年6月的《第42届国际机器学习会议》（ICML 2025）。对于想要深入了解这项研究的读者，可以通过论文编号arXiv:2505.07796v2访问完整的研究内容。

当你从一所学校转到另一所学校时，你需要适应新的环境、学习新的课程，同时还要保持原来掌握的知识。这个过程既充满挑战，也蕴含着无限可能。大语言模型在学习新领域知识时，也面临着类似的"转学"挑战，这个过程被称为持续预训练。

最近，中科院的研究团队就像是给AI的"转学"过程配备了一个专业的学习顾问，他们发现了一套预测AI在新环境中学习表现的神奇公式。这套公式不仅能预测AI在学习过程中每一步的表现，还能帮助我们找到最佳的学习策略，让AI既能快速掌握新知识，又不会忘记原来的本领。

研究团队发现，AI的持续学习过程就像是在两条不同的学习轨道之间进行转换。原本AI在自己熟悉的领域（比如通用文本）有一条稳定的学习轨道，当它开始学习新领域（比如编程或法律）时，就会逐渐转向一条全新的学习轨道。这个转换过程遵循着特定的数学规律，研究人员将其总结为一个精确的预测公式。

这项研究的重要性在于，它首次提供了一套完整的"AI学习地图"，让我们能够预测AI在学习新知识时的每一个阶段会发生什么。更重要的是，这套理论还能帮助我们优化AI的学习策略，比如确定最佳的学习强度、学习时长，以及新旧知识的最佳混合比例。

一、AI的"转学生"困境：当通用模型遇到专业领域

当一个在综合性大学表现优秀的学生转入专业性很强的技术学院时，他会遇到什么样的挑战呢？首先，他需要学习全新的专业课程，这些课程与他之前学过的内容有很大差异。同时，他还要努力保持原来掌握的基础知识，避免因为过度专注新领域而遗忘了基本功。

大语言模型的持续预训练过程正是如此。这些模型最初在海量的通用文本上进行训练，掌握了语言的基本规律和常识。当我们希望它们在特定领域（如医学、法律、编程）表现更好时，就需要让它们继续在这些专业领域的数据上学习。然而，这个过程充满了微妙的平衡艺术。

学习太激进，AI可能会快速掌握新领域知识，但同时也会忘记原来的通用能力，这种现象被称为"灾难性遗忘"。就像一个学生专注学习编程后，竟然忘记了如何写作文。相反，如果学习太保守，AI虽然保持了原有能力，但在新领域的表现却无法达到预期水平。

研究团队通过大量实验发现，AI在这个学习过程中的表现变化遵循着非常有趣的规律。当AI开始接触新领域数据时，它在原领域的表现会开始下降，这就像转学生刚到新环境时会有些不适应。与此同时，它在新领域的表现会逐渐提升，就像慢慢适应新学校的课程体系。

更有趣的是，研究人员发现这种变化并不是随机的，而是可以用数学公式精确描述的。通过观察AI在不同学习阶段的表现，他们总结出了一套能够预测整个学习过程的完整理论。

二、解码AI学习的双轨模式：从轨道切换的视角理解持续学习

研究团队提出了一个非常形象的比喻来解释AI的持续学习过程：轨道切换。他们发现，AI的学习过程实际上是从一条"隐藏的学习轨道"切换到另一条"隐藏的学习轨道"的过程。

什么是"隐藏的学习轨道"呢？研究人员解释说，如果AI一直在原来的通用数据上继续学习，它会沿着一条特定的轨道不断进步，这就是"原领域的隐藏轨道"。同样，如果AI从零开始只在新领域数据上学习，它也会沿着另一条轨道发展，这就是"新领域的隐藏轨道"。

而持续预训练的过程，就是AI从第一条轨道逐渐切换到第二条轨道的过程。这个切换不是瞬间完成的，而是一个渐进的过程，就像火车从一条铁轨慢慢切换到另一条铁轨。

为了验证这个理论，研究人员设计了巧妙的对比实验。他们分别训练了两个"参照模型"：一个持续在通用数据上学习，另一个从头开始只在新领域数据上学习。然后，他们观察正在进行持续预训练的模型，发现它的表现确实在这两条参照轨道之间逐渐切换。

这个发现非常重要，因为它揭示了AI学习的本质机制。原来，AI并不是简单地"遗忘"旧知识然后"学习"新知识，而是在两套完整的知识体系之间进行平衡和切换。这就像一个人在学习新语言时，并不是完全抛弃母语，而是在两种语言系统之间建立联系和切换机制。

三、学习动力学的数学密码：分布偏移与学习率衰减的双重奏

研究团队发现，AI在持续学习过程中的表现变化可以分解为两个核心要素的相互作用：分布偏移和学习率衰减。这就像是一场精心编排的双重奏，两个因素各自发挥作用，共同决定了最终的学习效果。

分布偏移这个概念听起来很抽象，但用一个简单的类比就容易理解了。当一个习惯了中式菜谱的厨师突然要学做意大利菜时，他会发现食材、调料、烹饪方法都发生了显著变化。这种从中式菜谱到意大利菜谱的"跳跃"就是分布偏移。对AI来说，从通用文本数据切换到专业领域数据，就是一次明显的分布偏移。

研究人员通过精密的实验设计发现，这种分布偏移的影响遵循着幂律分布的规律。具体来说，随着AI接触新领域数据的时间增长，分布偏移的影响会按照特定的数学模式逐渐稳定。这个发现让人惊讶的是，无论AI从哪个时间点开始转学，这种分布偏移的模式都保持一致，就像物理定律一样稳定可靠。

另一个关键因素是学习率衰减。这相当于控制AI学习速度的"油门踏板"。在学习初期，我们通常会设置较高的学习率，让AI快速吸收新知识。随着学习的深入，我们会逐渐降低学习率，让AI更精细地调整和优化已学到的知识。这个过程就像开车一样：起步时需要大油门快速加速，但在精细操作时需要轻踩油门慢慢调整。

研究团队发现，学习率衰减的影响也遵循着特定的数学规律。他们建立了一套复杂的方程组，能够精确描述学习率变化对AI表现的影响。更令人兴奋的是，这套方程不仅适用于简单的学习率调度，还能处理各种复杂的学习率变化模式，比如先上升后下降的"预热-衰减"模式。

将这两个因素结合起来，研究人员得到了一个完整的AI学习动力学方程。这个方程就像是AI学习过程的"天气预报系统"，能够准确预测AI在任何学习阶段的表现。通过输入当前的学习参数，我们就能知道AI在接下来的每一个学习步骤中会有什么样的表现。

四、精准预测的魔法公式：构建AI学习的数学模型

研究团队开发的预测公式堪称AI领域的"万能钥匙"。这个公式的精妙之处在于，它不仅能预测AI的最终学习效果，还能描绘出整个学习过程中每一个细节的变化轨迹。

这个神奇的公式由几个核心组件构成。首先是基础损失项，它代表了AI在理想状态下能达到的最佳表现。然后是前向区域项，它描述了学习量的累积效应。接着是退火区域项，它捕捉了学习率变化带来的影响。最后是分布偏移项，它量化了从旧领域到新领域切换的影响。

为了验证这个公式的准确性，研究人员进行了大量的实验。他们使用不同规模的模型，从1.06亿参数的小型模型到17亿参数的大型模型，在各种不同的学习场景下测试公式的预测能力。结果令人惊喜：无论是简单的常数学习率，还是复杂的预热-稳定-衰减学习率调度，这个公式都能给出高度准确的预测。

更让人印象深刻的是，这个公式的预测精度非常高。在大多数测试场景中，预测值与实际观测值的相关系数都超过了0.99，这意味着预测的准确性达到了近乎完美的水平。这就像是拥有了一个能够准确预测股票价格走势的神奇公式，让我们能够提前知道AI在学习过程中的每一个变化。

研究人员还发现，这个公式具有很强的泛化能力。即使在不同的数据集、不同的模型架构、不同的学习设置下，公式依然保持着高度的准确性。这说明他们发现的不是某种偶然的现象，而是AI学习过程中的基本规律。

五、优化AI学习的实用指南：从理论到实践的桥梁

有了预测公式这个强大工具，研究团队进一步探索了如何利用它来优化AI的学习过程。他们发现了几个关键的优化原则，这些原则就像是AI训练师的秘密武器。

首先是"损失潜力"的概念。研究人员发现，AI模型在开始持续学习时的状态对最终效果有决定性影响。那些保留了更多"学习潜力"的模型（即没有被过度训练到极限状态的模型）在新领域的适应能力会更强。这就像是保持一定体力储备的运动员在面对新挑战时会有更好的表现。

具体来说，如果原始模型的学习率还没有完全衰减到零，而是保持在一个较高的水平，那么它在新领域的学习效果会更好。这个发现颠覆了传统的认知，原来我们不应该把模型训练到绝对的极限状态，而应该为后续的学习留下一些空间。

其次是峰值学习率的选择策略。研究人员发现，不同的学习目标需要不同的学习率设置。如果你更关心AI在新领域的表现，可以设置较高的学习率来加速适应。但如果你更希望保持原有能力，就应该选择较低的学习率来减缓遗忘。这种权衡就像是在运动训练中选择不同的训练强度一样。

第三个重要发现是关于训练步数的选择。研究人员定义了一个叫做"转折长度"的概念，这是指AI能够回到原始性能水平所需的最少训练步数。对于某些特定的模型状态和数据分布组合，存在一个神奇的现象：如果训练步数刚好达到转折长度，AI不仅能掌握新领域知识，甚至还能在原领域获得比最初更好的表现。

最后是数据混合比例的优化。在实际应用中，我们通常会将新领域数据与原领域数据按一定比例混合进行训练。研究人员发现，最优的混合比例取决于具体的学习目标。如果你希望平衡两个领域的表现，存在一个理论上的最优比例点。有趣的是，这个最优比例通常不是简单的五五开，而是一个经过精确计算得出的特定数值。

六、模型规模与重放策略：规模化训练的深层洞察

研究团队还深入探讨了模型规模对持续学习效果的影响。他们发现了一个出人意料的现象：在面对相同的学习任务时，不同规模的模型表现出了截然不同的适应模式。

通过对比1.06亿、5.94亿和17.2亿参数的模型，研究人员发现分布偏移的影响在不同规模的模型间保持着惊人的一致性。这意味着，无论模型大小如何，从旧领域切换到新领域时的"震荡"程度基本相同。这个发现很有实用价值，因为它表明我们可以先用小模型进行实验和调优，然后将结果直接应用到大模型上。

然而，模型规模确实会影响学习率衰减的效应。大模型对学习率变化更敏感，这就像是精密仪器需要更小心的调节一样。研究人员发现，随着模型规模的增大，需要相应调整学习率衰减的系数，以确保获得最佳的学习效果。

在重放策略方面，研究团队揭示了一个重要的平衡原理。重放策略是指在学习新领域数据时，同时混入一定比例的原领域数据，以减缓遗忘效应。研究人员发现，重放比例的影响遵循指数函数的规律，这为精确控制新旧知识的平衡提供了数学依据。

更有趣的是，研究人员发现存在一个"同分布基线"现象。如果我们从零开始随机初始化一个模型，然后按照最优重放比例进行训练，最终的表现会形成一条基准线。而从预训练模型开始的持续学习过程，其最优重放比例会围绕这条基准线波动，形成一种"波浪形"的模式。这种模式反映了预训练知识与新知识之间复杂的相互作用关系。

研究团队还发现，对于不同类型的新领域，最优重放策略会有显著差异。当新领域与原领域差异较大时（比如从通用文本转向法律文档），需要较低的重放比例来加速适应。而当新领域与原领域相对接近时（比如从通用文本转向科技文档），则需要较高的重放比例来保持平衡。

七、批次大小与序列长度的影响：技术细节中的关键发现

在深入的技术探索中，研究团队还考察了训练过程中两个重要参数的影响：批次大小和序列长度。这些看似技术性的细节实际上对AI的学习效果有着重要影响。

批次大小可以理解为AI每次学习时处理的数据量。就像学生在课堂上，有的老师喜欢一次讲解很多内容，有的老师则偏好少量多次的精细讲解。研究人员发现，当计算资源有限需要减小批次大小时，或者当任务需求要求增大批次大小时，他们开发的预测公式依然保持着高度的准确性。

这个发现具有重要的实用价值。在实际应用中，不同的硬件环境和计算预算会限制我们选择的批次大小。有了这个发现，我们可以放心地在不同的批次大小设置下应用这套理论，而不用担心预测的准确性会大幅下降。

序列长度的影响更加微妙。当我们希望AI处理更长的文本时，需要增加序列长度，这通常还伴随着其他技术参数的调整，比如位置编码的基数。研究人员在实验中测试了从4K到8K序列长度的变化，发现预测公式能够很好地适应这种变化。

更令人印象深刻的是，研究团队发现分布偏移的核心模式在这些技术参数变化时保持着稳定性。这进一步证明了他们发现的规律的基础性和普遍性。无论技术实现的细节如何变化，AI学习的基本动力学规律都保持一致。

这些发现为实际部署提供了宝贵的指导。在资源受限的环境中，我们可以通过调整批次大小和序列长度来适应硬件限制，而不用担心这些调整会破坏我们对学习过程的预测和控制能力。

八、开源模型的适配策略：面向实际应用的解决方案

考虑到大多数研究者和工程师使用的是开源的预训练模型，研究团队专门开发了一套适用于"黑盒"模型的应用策略。这些开源模型通常不会提供完整的训练细节，比如确切的训练数据分布、训练步数、学习率调度等关键信息。

面对这个挑战，研究人员提出了三个巧妙的解决方案。首先，对于未知的原始训练数据分布，他们建议使用常见的开源数据集作为代理。比如，可以用Common Crawl数据集来近似大多数大语言模型的预训练数据分布。虽然这种近似不是完美的，但实验证明它足够有效。

其次，对于未知的训练历史信息，研究人员将一些关键参数视为可拟合的未知数。比如，他们将累积的前向学习量作为一个参数来估计，而不是试图推断确切的训练步数和学习率历史。这种方法将复杂的历史信息压缩成了几个可以通过少量数据点估计的参数。

第三，考虑到大多数开源模型都会将学习率衰减到接近零的水平以获得最佳性能，研究人员假设这些模型的最终学习率为零。这个假设简化了计算，同时不会显著影响预测的准确性。

为了验证这套方案的有效性，研究团队对LLaMA3.2-1B这个真实的开源模型进行了测试。他们使用Pile-of-Law数据集进行持续预训练，并用RedPajama数据集作为原始数据的代理。结果显示，即使在这种"信息不完全"的情况下，预测公式依然能够准确描述模型的学习轨迹。

这个成功的实践案例证明，研究团队开发的理论不仅在理想的实验条件下有效，在真实的应用场景中同样具有强大的实用价值。这为广大使用开源模型的研究者和工程师提供了一套实用的工具箱。

九、跨领域验证与泛化能力：理论的普适性检验

为了验证理论的普适性，研究团队在多个不同的领域组合上进行了广泛的测试。他们不仅测试了从通用文本到编程代码的转换，还测试了到法律文档、医学文献等多个专业领域的转换。

在每个测试场景中，研究人员都发现了相同的基本模式：轨道切换现象、分布偏移的幂律规律、学习率衰减的影响机制等。这种一致性表明，他们发现的不是某个特定领域的偶然现象，而是AI持续学习的基本规律。

特别有趣的是，研究团队发现不同领域间的"距离"会显著影响学习的难易程度。当目标领域与原始领域差异很大时（比如从通用文本转向法律文档），分布偏移的影响会更加显著，需要更长的时间才能稳定。相反，当两个领域相对接近时（比如从通用文本转向科技文档），切换过程会更加平滑。

这个发现有助于我们在实际应用中设定合理的期望和制定相应的策略。对于跨度较大的领域转换，我们需要准备更多的计算资源和时间，同时可能需要更精细的参数调优。而对于相近领域的转换，我们可以期待更快的收敛和更稳定的效果。

研究人员还测试了理论在不同模型架构上的适用性。除了主要基于LLaMA架构的实验外，他们还在其他架构上进行了验证，发现基本规律保持一致。这进一步证明了理论的普遍性，表明它反映的是深度学习的基本原理，而不是某种特定架构的特殊性质。

十、超越领域的预测能力：面向未来的扩展可能

研究团队的一个重要发现是，他们的理论框架可以扩展到预测AI在任意第三方领域的表现。这种能力就像是拥有了一个"万能翻译器"，能够将AI在两个已知领域的表现转换成对任意其他领域表现的预测。

具体来说，研究人员发现，AI在任何外部领域的表现都可以表示为它在原领域和目标领域表现的线性组合。这个发现基于数据混合定律的思想，即不同领域的数据可以通过一定的权重组合来近似其他领域的特征。

通过这种方法，研究团队成功预测了AI在多个未曾直接训练过的领域中的表现，包括StackExchange问答数据、arXiv学术论文、开放数学题目等。预测结果与实际观测值的吻合度令人惊讶，大多数情况下误差都控制在很小的范围内。

这种跨领域预测能力具有重要的实用价值。在实际应用中，我们往往关心AI在多个不同领域的综合表现，而不仅仅是某个特定领域。有了这种预测能力，我们可以在不进行大量实际测试的情况下，快速评估AI在各种场景下的适用性。

更有趣的是，研究人员发现不同的外部领域会表现出不同的"偏好模式"。有些领域更接近原始的通用能力（比如常识问答），而有些领域更偏向专业能力（比如技术文档理解）。通过分析这些权重系数，我们可以更好地理解不同领域之间的内在关系。

这种理解有助于我们制定更加精准的优化策略。如果我们的最终目标是在某个特定的外部领域获得最佳表现，我们可以通过调整原领域和目标领域的学习权重来间接优化这个外部领域的效果。

归根结底，这项来自中科院的突破性研究为我们揭示了AI持续学习的基本规律。他们开发的预测公式不仅能够准确描述AI学习过程中的每一个细节变化，还为我们提供了优化学习策略的科学依据。

这项研究的意义远不止于学术层面。随着AI技术在各个行业的深入应用，我们越来越需要能够快速适应特定领域需求的模型。无论是医疗诊断、法律咨询、金融分析还是教育辅导，每个领域都有其独特的知识结构和表达方式。

有了这套理论工具，AI的培训过程将变得更加科学和高效。我们不再需要凭直觉或反复试错来调整参数，而是可以基于数学公式进行精确的预测和优化。这就像是给AI的学习过程装上了GPS导航系统，让我们能够精确地控制学习的方向和速度。

对于普通人而言，这项研究的成果最终会体现在更加智能、更加专业的AI助手上。未来的AI将能够更好地平衡通用能力和专业技能，既保持对常识性问题的准确理解，又能在特定领域提供专业级的建议和帮助。这种平衡正是研究团队努力破解的核心难题。

值得一提的是，这项研究还为AI安全和可控性提供了新的思路。通过精确预测AI的学习轨迹，我们可以更好地控制AI的能力边界，确保它在获得新技能的同时不会偏离我们期望的行为模式。这对于构建可信赖的AI系统具有重要意义。

对于那些希望深入了解这项研究技术细节的读者，完整的论文内容可以通过arXiv:2505.07796v2获取。这项研究不仅在理论上具有创新性，在实践应用方面也展现出了巨大的潜力，相信会对整个AI领域的发展产生深远影响。

Q&A

Q1：什么是AI的持续预训练？它解决了什么问题？ A：持续预训练就像让AI"转学"到新专业。AI原本在通用文本上训练，掌握了基础语言能力。当我们希望它在特定领域（如医学、法律）表现更好时，就让它继续在这些专业数据上学习。这解决了AI专业化的问题，让通用模型能够适应特定行业需求。

Q2：这个预测公式能做什么？准确性如何？ A：这个公式能预测AI在学习新领域过程中每一步的表现变化，不仅预测最终结果，还能描绘整个学习轨迹。研究显示预测准确性极高，相关系数超过0.99，几乎达到完美预测水平。就像天气预报一样，能提前知道AI在各个学习阶段会有什么表现。

Q3：普通人如何从这项研究中受益？ A：这项研究最终会让AI助手变得更加智能和专业。未来的AI将能更好地平衡通用知识和专业技能，既能回答常识问题，又能在特定领域提供专业建议。比如医疗AI既懂基本交流，又精通医学知识；法律AI既理解日常语言，又掌握法律条文。