莫斯科理工大学研究团队发明AI"拼积木"新方法：让机器学习像生物成长一样自然生长

这项令人兴奋的研究来自莫斯科理工大学的A. Bochkov，发表于2025年7月的arXiv预印本（论文编号：2507.07129v1）。有兴趣深入了解的读者可以通过https://arxiv.org/abs/2507.07129 访问完整论文，或者在GitHub上找到研究团队发布的代码：https://github.com/AVBochkov/Embeddings。

现在的人工智能大语言模型就像是一座巨大的摩天大楼，需要从头到尾一次性建造完成。这个过程不仅需要消耗天文数字般的计算资源，还极其缺乏灵活性。一旦建成，想要修改或扩展就像重新拆掉整栋楼重建一样困难。然而，莫斯科理工大学的研究团队提出了一个全新的思路：为什么不让AI模型像生物一样自然生长呢？

这项研究的核心突破在于使用了一种特殊的"万能接口"——基于Unicode字符视觉形状的固定嵌入层。简单来说，就是让所有的AI模型都使用同一套"语言"来理解文字，这套语言不依赖于文字的意思，而是基于文字的外观形状。就像所有的电器都使用相同的插头标准一样，这种统一的"接口"让不同的AI模型能够无缝连接和组合。

研究团队在这个基础上验证了两个革命性的想法。第一个想法是"模块化组装"：既然所有模型都使用相同的"语言接口"，那么专门训练的不同模型就能像拼积木一样组合起来。比如，一个擅长中文的模型和一个擅长英文的模型可以直接合并，创造出一个既懂中文又懂英文的超级模型，而且这个过程不需要重新训练。

第二个想法更加有趣：让AI模型像生物一样"生长"。传统方法是一次性构建一个拥有很多层的深度模型，而这项研究提出先训练一个只有一层的简单模型，训练完成后将其"冻结"，然后在上面添加第二层并训练，接着再添加第三层，如此反复。这就像植物从种子开始，先长出根，再长出茎，最后长出叶子一样，每一步都建立在前一步的基础之上。

一、模块化组装：让AI专家团队无缝协作

研究团队首先探索了一个让人兴奋的可能性：能否让分别训练的专业AI模型像团队成员一样协作？在传统的AI开发中，不同的模型就像说着不同方言的专家，即使他们各自非常优秀，也很难直接合作。

这个问题的解决方案源于研究团队之前的一个重要发现：AI模型其实并不需要"学会"理解文字的意思，而是可以直接使用基于文字外观形状的固定表示。这就像是为所有AI模型提供了一个统一的"翻译器"，让它们都能理解同一种"通用语言"。

具体来说，研究团队使用了基于Unicode字符视觉形状的嵌入层。Unicode是一个包含世界上几乎所有文字的字符编码标准，而这个嵌入层不关心字符的含义，只关心字符的视觉外观。这种方法的巧妙之处在于，无论是中文的"你好"还是英文的"Hello"，都会被转换为基于其视觉形状的数学表示。

基于这个统一的"接口"，研究团队开始了模块化组装的实验。他们训练了几个专门的AI模型，每个模型都专注于不同的语言或领域。比如，一个模型专门学习俄语文本，另一个模型专门学习中文文本，还有一个模型专门学习英语文本。

神奇的事情发生了：由于这些模型都使用相同的输入和输出"语言"，它们的预测结果可以直接进行比较和合并。最简单的合并方法就是将不同模型的预测结果取平均值。这听起来可能过于简单，但效果却出人意料地好。

在实验中，研究团队发现合并后的模型在各种推理任务上的表现都超过了单个专业模型。更令人兴奋的是，这种合并是"零成本"的——不需要额外的训练时间或计算资源，只需要简单地将不同模型的输出平均即可。

这种方法的优势是多方面的。首先，它极大地提高了开发效率。不同的团队可以同时开发专门的AI模型，然后将它们组合起来创造更强大的系统。其次，它解决了"灾难性遗忘"的问题。在传统的AI训练中，当模型学习新任务时，往往会忘记之前学过的内容，但在这种模块化方法中，每个模块都保持其专业能力不变。

研究团队还探索了更复杂的合并策略。除了简单的平均法，他们还尝试了使用小型适配器网络来智能地组合不同模型的输出。这种方法可以根据具体任务的需要，动态调整不同专业模型的贡献比例。

实验结果表明，这种模块化组装方法不仅有效，而且具有很强的扩展性。研究团队成功地将专注于不同语言的模型组合成了多语言专家系统，这个系统在各种推理基准测试中都表现出色。

二、渐进式生长：让AI像生物一样逐层发育

研究团队的第二个重要发现更加令人着迷：AI模型可以像生物一样逐层"生长"，而不是一次性构建完整的复杂结构。这种方法彻底颠覆了传统的AI训练思路。

传统的深度学习模型训练就像是试图同时建造一座摩天大楼的所有楼层。工程师们需要同时协调成百上千个复杂的组件，确保它们能够完美配合。这不仅计算成本高昂，而且容易出现各种问题。

相比之下，研究团队提出的渐进式生长方法就像是建造房子时先打地基，再建第一层，然后逐层向上建造。这种方法的核心思想是：先训练一个只有一层的简单模型，等它完全学会了基本任务后，就将其"冻结"，然后在上面添加第二层，专门训练这个新层。

这个过程的美妙之处在于，每一层都建立在前面已经稳定的基础之上。第一层学会了基本的语言理解，第二层可以在此基础上学习更复杂的模式识别，第三层可以进一步学习抽象推理，如此类推。这就像人类大脑的发育过程：婴儿先学会基本的感知，然后逐步发展出更高级的认知能力。

研究团队从一个只有一层的模型开始实验。这个模型被称为"abs-bvv-1"，它使用固定的视觉Unicode嵌入层，在大约90亿个文本token上进行训练。当这个单层模型训练完成后，研究团队将其权重完全冻结，然后在上面添加第二层，创建了"abs-bvv-2"模型。

在训练第二层时，只有新添加的层是可训练的，而第一层保持不变。这种方法的好处是显而易见的：第一层已经学会的知识不会丢失，而第二层可以专注于学习如何使用第一层提供的特征来完成更复杂的任务。

实验结果令人印象深刻。研究团队观察到，每次添加新层时，模型的训练损失会出现一个短暂的峰值（因为新层是随机初始化的），然后迅速下降到一个更低的水平。这个过程就像是在稳固的地基上建造新楼层——虽然开始时会有一些不稳定，但很快就会达到新的平衡点。

更有趣的是，研究团队发现复杂的推理能力是随着模型深度逐步"涌现"的。在测试中，他们发现单层模型在简单的多选题任务（如MMLU）上有一定表现，但在复杂的阅读理解任务（如SQuAD）上几乎无法完成。然而，当模型增加到三层时，阅读理解能力开始显现，到六层时达到了相当不错的水平。

这个发现非常重要，因为它表明AI的高级认知能力不是突然出现的，而是需要足够的"神经网络深度"来支撑。就像人类需要经过多年的学习和大脑发育才能掌握复杂的抽象思维一样，AI模型也需要足够的层次结构来处理复杂的认知任务。

为了进一步提升这种渐进式生长的效果，研究团队还引入了一种叫做LoRA（Low-Rank Adaptation）的技术。当模型增加到三层或更多时，除了训练新添加的层，研究团队还会对之前的层进行微调。这种微调不是重新训练整个层，而是添加一些小的"适配器"，让整个模型能够更好地适应新的深度。

这种方法的优势是多方面的。首先，它大大提高了训练效率。与一次性训练深度模型相比，渐进式生长可以让研究人员更容易发现和解决问题。其次，它提供了更好的可解释性。研究人员可以清楚地看到每一层贡献了什么样的能力，以及复杂能力是如何逐步构建的。

三、实验验证：理论照进现实的精彩时刻

研究团队进行了大量的实验来验证他们的理论。这些实验就像是科学家们精心设计的"试验场"，用来证明新方法的有效性。

在模块化组装实验中，研究团队使用了他们之前研究中开发的几个专业模型。这些模型都基于相同的固定视觉嵌入层，但分别在不同的语言数据上进行训练。他们将一个擅长英语和俄语的模型与一个擅长英语和中文的模型进行合并，创造出了多语言专家系统。

实验结果令人振奋。合并后的模型在开始训练时，验证损失就已经很低，接近各个专业模型的最终损失水平。这说明合并过程确实成功地保留了各个专业模型的知识。经过进一步的微调，合并模型的性能甚至超过了单个专业模型。

在标准的推理基准测试中，合并模型在MMLU（大规模多任务语言理解）、ARC（人工智能推理挑战）、CommonsenseQA（常识问答）等任务上都表现出色。特别是在MMLU测试中，合并模型的得分达到了25.0%，明显超过了单个专业模型的表现。

渐进式生长实验同样令人印象深刻。研究团队从一个单层模型开始，逐步增加到六层。每次添加新层时，他们都会仔细记录模型在各种任务上的表现变化。

结果显示，随着模型深度的增加，其在各种任务上的表现都呈现出稳步上升的趋势。在MMLU测试中，单层模型的得分是18.08%，而六层模型达到了21.63%。但更令人兴奋的是在SQuAD阅读理解任务上的表现：单层模型几乎无法完成这个任务（只有1.21%的得分），但随着层数增加，表现显著改善，六层模型达到了5.55%的得分。

这个结果特别有意思，因为它清楚地展示了复杂认知能力的"涌现"过程。就像人类儿童在成长过程中，某些认知能力会在特定的发育阶段突然出现一样，AI模型的复杂推理能力也需要达到一定的"临界深度"才会显现。

研究团队还详细分析了不同MMLU子任务的表现。他们发现，不同类型的推理能力对模型深度的需求是不同的。一些基础的知识问答任务在较浅的模型中就能有不错的表现，而复杂的逻辑推理任务则需要更深的模型才能胜任。

训练动态的分析也很有启发性。每次添加新层时，训练损失都会出现一个明显的峰值，然后迅速下降。这个过程就像是在建筑物上添加新楼层时的短暂不稳定期，但很快就会达到新的平衡状态。同时，模型在测试任务上的表现也会相应提升，说明每一层都确实贡献了新的能力。

四、深远影响：从单体巨兽到生态系统

这项研究的意义远远超出了技术层面的突破。它提出了一种全新的AI发展范式，可能会彻底改变我们构建和使用人工智能的方式。

传统的AI开发模式就像是工业时代的大型工厂：需要巨大的投资、专门的设施，只有少数大公司才能承担。而这项研究提出的模块化、渐进式方法更像是互联网时代的开源生态系统：任何人都可以贡献自己的专业模块，然后这些模块可以自由组合，创造出更强大的系统。

从资源利用的角度来看，这种方法具有巨大的优势。小型研究团队或公司可以专注于训练特定领域的专家模型，而不需要从头开始构建庞大的通用模型。这些专家模型可以像软件插件一样被其他人使用和组合。

这种模式还解决了持续学习的难题。在传统的AI训练中，当模型需要学习新任务时，往往会忘记之前学过的内容，这被称为"灾难性遗忘"。但在模块化系统中，新的专业模块可以直接添加到现有系统中，而不会影响原有模块的功能。

渐进式生长方法也带来了新的可能性。它不仅提高了训练效率，还为我们理解AI的"认知发展"提供了新的视角。通过观察不同层次的能力如何逐步构建，研究人员可以更好地理解复杂智能的形成机制。

这种方法对AI安全也有重要意义。与一次性训练的大型模型相比，渐进式生长的模型更容易监控和调试。研究人员可以在每个阶段检查模型的行为，确保它朝着正确的方向发展。

从商业角度来看，这种模式可能会催生全新的AI服务市场。就像现在的软件应用商店一样，未来可能会出现专门的AI模块市场，用户可以根据自己的需求选择和组合不同的AI能力。

教育领域也可能受益匪浅。渐进式生长的概念与人类学习的自然过程非常相似，这可能为个性化教育AI提供新的思路。教育AI可以根据学生的学习进度逐步"成长"，提供越来越复杂的辅导和支持。

研究团队认为，这种方法代表了从"单体优化"向"生物式发展"的范式转变。就像生物进化通过模块化和渐进式改进创造出复杂的生命形式一样，AI系统也可以通过类似的方式发展出越来越强大的能力。

五、技术细节：魔法背后的科学原理

虽然这项研究的核心思想相对简单，但其技术实现却需要精心设计。研究团队在论文中详细描述了他们的方法，这些技术细节对于理解和复现这项工作至关重要。

固定视觉嵌入层是整个系统的基础。这个嵌入层使用了一种叫做"bvv241"的特殊分词器，它不依赖于文本的语义信息，而是基于Unicode字符的视觉表示。简单来说，每个字符都被转换为一个固定长度的数学向量，这个向量描述了字符的视觉特征。

这种方法的巧妙之处在于，它创造了一个语言无关的通用表示空间。无论是中文、英文、阿拉伯文还是其他任何语言，都会被映射到同一个数学空间中。这就像是给所有语言提供了一个统一的"数学翻译器"。

在模块化组装方面，研究团队主要使用了两种合并策略。最简单的方法是对数平均法：将不同专家模型的输出对数概率直接平均。这种方法虽然简单，但效果出人意料地好。更复杂的方法是使用小型适配器网络，这个网络可以学习如何智能地组合不同专家的输出。

渐进式生长的实现需要更加精细的控制。研究团队使用了一种叫做"冻结-叠加-训练"的循环过程。在每个循环中，他们首先冻结当前所有层的权重，然后添加一个新的随机初始化的Transformer层，最后只训练这个新层。

为了防止深层模型出现梯度消失或梯度爆炸问题，研究团队采用了多种技术。他们使用了残差连接、层归一化等标准技术，同时还引入了LoRA微调技术。当模型达到三层或更多时，他们会对之前的层进行低秩适配，让整个模型能够更好地适应新的深度。

训练过程中的超参数设置也经过了精心调整。研究团队使用了相对较小的学习率，以确保训练过程稳定。他们还使用了动态学习率调度，在每次添加新层后逐步降低学习率。

模型的评估使用了多个标准基准。MMLU测试包含了57个不同学科的多选题，涵盖了从基础数学到高级哲学的各个领域。ARC测试专注于科学推理，CommonsenseQA测试常识推理，而SQuAD测试阅读理解能力。这些测试的组合提供了对模型能力的全面评估。

研究团队还进行了详细的消融实验，以确定各个组件的贡献。他们发现，固定嵌入层是整个系统成功的关键。如果使用传统的可训练嵌入层，模块化组装的效果会大打折扣。

数据处理也是一个重要环节。研究团队使用了约90亿个token的混合数据集，包括维基百科数据和各种有监督微调数据。这些数据经过了精心清洗和预处理，确保质量和多样性。

六、未来展望：通往更智能世界的新路径

这项研究不仅为当前的AI发展提供了新的思路，还为未来的人工智能发展指明了方向。研究团队在论文中谈到了他们对未来的设想，这些设想既令人兴奋，又充满挑战。

从技术发展的角度来看，模块化AI系统可能会成为未来的主流。就像现在的软件开发大量使用开源库和框架一样，未来的AI开发可能会大量使用预训练的专业模块。这将大大降低AI开发的门槛，让更多的研究者和开发者能够参与到AI创新中来。

渐进式生长方法也有巨大的发展潜力。研究团队认为，这种方法可能会催生出全新的AI架构设计理念。传统的神经网络架构设计往往需要大量的试错和调优，而渐进式生长可能会让这个过程更加高效和可控。

从应用的角度来看，这种模块化方法特别适合那些需要多种专业能力的复杂任务。比如，一个智能助手可能需要同时具备语言理解、数学计算、常识推理、情感分析等多种能力。使用模块化方法，开发者可以将最好的专业模块组合起来，创造出更强大的系统。

医疗AI是一个特别有前景的应用领域。不同的医疗专业需要不同类型的专业知识，而模块化方法可以让不同专业的AI模块协作工作。比如，诊断模块可以与治疗建议模块、药物相互作用检查模块等组合，形成一个综合的医疗AI系统。

教育领域也可能受益匪浅。渐进式生长的概念与人类学习的自然过程非常相似，这为个性化教育AI提供了新的思路。教育AI可以根据学生的学习进度和能力水平，动态调整其复杂度和专业程度。

然而，这种新方法也面临着一些挑战。首先是标准化问题。要实现真正的模块化，需要建立统一的接口标准和质量评估体系。这需要整个AI社区的协作和努力。

安全性也是一个重要考虑。模块化系统可能会引入新的安全风险。如果某个模块被恶意修改或包含有害内容，可能会影响整个系统的安全性。研究团队认为，需要建立完善的模块验证和监控机制。

计算资源的优化也是一个挑战。虽然模块化方法可以提高开发效率，但在推理时可能需要更多的计算资源。如何在保持模块化灵活性的同时优化计算效率，是一个需要进一步研究的问题。

知识产权和商业模式也需要重新考虑。在模块化生态系统中，如何保护创新者的权益，如何建立公平的价值分配机制，这些都是需要解决的问题。

尽管面临这些挑战，研究团队对未来仍然充满信心。他们认为，这种生物启发的AI发展模式代表了人工智能发展的一个重要方向。就像生物进化通过模块化和渐进式改进创造出了地球上丰富多彩的生命形式一样，AI系统也可以通过类似的方式发展出越来越强大和多样化的能力。

研究团队已经将他们的所有代码和模型开源，希望能够吸引更多的研究者加入到这个新的研究方向中来。他们相信，通过整个社区的共同努力，这种新的AI发展范式将会迎来更加蓬勃的发展。

说到底，这项研究提出了一个令人兴奋的愿景：未来的AI发展不再是少数大公司的专利，而是一个人人都可以参与的开放生态系统。在这个生态系统中，每个人都可以贡献自己的专业知识，每个创新都可以被其他人使用和改进。这不仅会加速AI技术的发展，还会让AI的benefits更加广泛地惠及整个社会。

虽然这个愿景的实现还需要时间，但莫斯科理工大学的这项研究已经为我们展示了一个令人期待的开始。就像互联网改变了信息传播的方式一样，这种模块化、渐进式的AI发展模式可能会彻底改变我们创造和使用人工智能的方式。对于任何关心AI未来发展的人来说，这都是一个值得关注的重要研究方向。

Q&A

Q1：什么是固定视觉嵌入层？它为什么这么重要？ A：固定视觉嵌入层是基于Unicode字符外观形状的数学表示，不依赖文字含义。它就像给所有AI模型提供了统一的"翻译器"，让不同模型能够无缝连接。这是整个研究的基础，没有它就无法实现模块化组装。

Q2：AI模型的"渐进式生长"会不会比传统方法更慢？ A：不会。虽然是一层一层训练，但每层训练时间相对较短，而且可以随时观察效果。相比传统方法需要同时训练所有层的复杂协调，渐进式方法实际上更高效，出错时也更容易修正。

Q3：这种模块化方法对普通用户有什么实际意义？ A：未来可能会出现AI"应用商店"，用户可以根据需要选择不同的AI能力模块进行组合。比如需要多语言翻译+数学计算+创意写作的用户，可以直接组合相应的专业模块，而不需要使用庞大的通用模型。