中国移动团队携手Zero Gravity实验室：让千亿参数大模型在"蜗牛网速"下飞跃训练

这项由中国移动（苏州）软件技术有限公司和Zero Gravity实验室联合开展的研究于2025年6月发表在arXiv预印本平台上（论文编号：arXiv:2506.21263v1），有兴趣深入了解技术细节的读者可以通过该编号在arXiv官网搜索获取完整论文。这个研究团队由中国移动的齐吉、朱文鹏、李力、吴应军、何武、高迅等研究员，以及Zero Gravity实验室的吴明、Jason Zeng、Michael Heinrich等专家组成，他们共同攻克了一个听起来几乎不可能的挑战。

当我们谈论训练那些拥有千亿参数的超级人工智能模型时，通常会想到什么场景？巨大的数据中心，闪烁着指示灯的服务器机房，还有那些如高速公路般畅通无阻的超快网络连接。就像建造一座摩天大楼需要最好的材料和最完善的基础设施一样，训练这些AI巨兽似乎也需要最顶级的硬件设备和网络环境。

然而，现实世界并不总是如此理想。全球各地有着大量的计算资源散布在不同的地方，这些资源就像是一颗颗散落的珍珠，它们的计算能力加起来可能超过任何一个集中式的超级计算中心，但问题是它们之间的网络连接速度往往慢得让人头疼。这就好比你有一群非常聪明的朋友分布在世界各地，你们想要合作完成一个复杂的项目，但彼此之间只能通过缓慢的邮寄方式交换信息。

传统的大模型训练方法就像是要求所有人都必须坐在同一个会议室里实时讨论，任何信息的延迟都可能让整个项目停滞不前。当网络带宽只有1Gbps（相对于大模型训练来说确实很慢）时，训练一个千亿参数的模型就变得几乎不可能，因为模型各部分之间需要频繁交换信息，而这种交换的数据量是如此巨大，以至于大部分时间都花在了等待数据传输上，而不是真正的学习和训练。

正是在这样的背景下，研究团队提出了DiLoCoX框架，这个名字听起来有些技术化，但它背后的思想却相当巧妙。DiLoCoX的核心理念可以用一个生动的比喻来理解：设想你正在指挥一个分布在全球各地的交响乐团演奏一首复杂的交响曲。传统方法要求所有乐手都能实时听到指挥的每一个手势和其他乐手的演奏，但在网络缓慢的情况下，这变得不可能。DiLoCoX的做法是让每个乐手先在自己的地方练习一段时间，然后定期与其他人同步关键信息，通过巧妙的协调机制确保最终的演出仍然和谐统一。

这项研究的意义远超技术本身。当前，全球的AI发展呈现出明显的资源集中化趋势，只有少数拥有顶级基础设施的机构才能训练最先进的大模型。这就像是只有最富有的人才能接受最好的教育一样，造成了明显的不公平。DiLoCoX的出现打破了这种局面，它让分散在世界各地的普通计算资源也能参与到大模型训练中来，这不仅能大幅降低训练成本，还能让更多的研究机构和企业有机会参与到AI技术的前沿探索中。

更重要的是，这种分布式训练方法还具有很强的实用价值。对于许多企业和研究机构来说，他们可能在不同的地理位置拥有计算资源，或者需要在多个数据中心之间协作，但这些地点之间的网络连接往往不如单一数据中心内部那样快速。DiLoCoX为这些场景提供了完美的解决方案，让它们能够充分利用现有资源，而不必为了训练大模型而投资建设昂贵的高速网络基础设施。

研究团队在论文中展示了令人印象深刻的实验结果：他们成功在仅有1Gbps带宽的网络环境下训练了一个拥有1070亿参数的大模型，与传统的AllReduce方法相比，DiLoCoX实现了357倍的训练速度提升，同时模型的收敛性能几乎没有任何损失。这个成果的意义可以这样理解：原本需要在超级高速公路上才能完成的运输任务，现在在普通的乡村道路上也能高效完成，而且运输的货物质量完全不受影响。

接下来，让我们深入了解DiLoCoX是如何实现这个看似不可能的目标的。

一、化整为零：流水线并行与双重优化策略

要理解DiLoCoX的第一个核心创新，我们可以把大模型训练想象成一个大型工厂的生产流程。传统的训练方法就像是让每个工人都必须掌握整个产品的完整制造流程，每个人都需要有足够大的工作台来放置所有的原材料和工具。这种方法的问题是显而易见的：不仅需要巨大的工作空间，而且当产品变得越来越复杂时，单个工人的工作台根本放不下所有必需的物品。

在计算机的世界里，这个"工作台"就是GPU的显存。当模型参数达到千亿级别时，单个GPU的显存根本无法容纳整个模型的所有参数。这就像是要求一个工人的桌子上同时放置制造一辆汽车所需的所有零件一样不现实。

DiLoCoX采用的流水线并行策略就像是重新设计了整个生产流程。研究团队将巨大的模型按照层次结构分解成多个阶段，每个阶段负责模型的一部分，就像汽车生产线上的不同工位一样。第一个工位负责组装发动机，第二个工位负责安装车身，第三个工位负责内饰装配，以此类推。每个工位只需要准备自己这个阶段所需的工具和材料，大大减少了对工作空间的需求。

更巧妙的是，DiLoCoX还引入了"双重优化策略"。这可以比作给每个工位配备了两套管理系统：一套负责本地的日常操作优化，另一套负责与其他工位的协调配合。就像每个部门既有自己的部门经理处理内部事务，又有一个协调员专门负责与其他部门的沟通合作。

这种设计的巧妙之处在于，它不仅解决了存储空间的问题，还实现了更均衡的资源利用。在传统方法中，往往会出现某些工人非常繁忙而另一些工人相对空闲的情况，就像交响乐团中某些乐器一直在演奏而另一些只是偶尔参与。双重优化策略确保每个参与训练的GPU都能得到充分利用，避免了资源浪费。

通过这种流水线并行的方法，研究团队成功实现了对超过1000亿参数模型的训练。这就像是证明了即使没有巨大的生产车间，通过合理的流程设计，仍然可以高效地制造出复杂精密的产品。对于整个AI行业来说，这意味着训练大模型的门槛大大降低了，不再需要拥有最顶级硬件配置的机构才能参与到大模型的研发中来。

二、时间艺术：一步延迟的重叠机制

DiLoCoX的第二个核心创新可以用一个精妙的时间管理比喻来理解。设想你正在组织一个需要多个团队协作的复杂项目，传统的做法是让所有团队同步工作：当团队A完成他们的任务时，所有人都停下来等待，直到每个团队都汇报完毕并统一下一步行动计划，然后所有团队再同时开始下一轮工作。这种方法虽然协调性好，但效率很低，因为总有一些团队需要等待其他团队完成。

DiLoCoX提出的"一步延迟重叠机制"就像是重新编排了这个工作流程的时间表。它的核心思想是让各个团队的工作时间错开，使得当一个团队在进行实际工作时，另一些团队正在进行信息同步和沟通。这样就避免了所有人都在同一时间停下来等待的低效状态。

具体来说，这个机制是这样工作的：当各个分布式节点完成了第一轮本地训练后，它们开始计算当前的"伪梯度"（可以理解为学习进度的总结报告），并启动异步的信息交换过程。与此同时，这些节点并不闲置等待，而是立即开始下一轮的本地训练。在进行第二轮训练的过程中，上一轮的信息交换在后台继续进行。当第二轮训练完成时，上一轮的信息交换也基本完成了，这时系统使用这些延迟一步的信息来更新模型参数。

这种机制的巧妙之处在于它基于一个合理的假设：在相邻的两个训练步骤之间，模型的变化通常是渐进的，不会发生剧烈的突变。就像一个人的学习过程一样，今天学到的知识和昨天学到的知识之间通常有很强的连续性，使用稍微"过时"一点的信息进行指导仍然是有效的。

这个创新带来的效果是显著的。原本在信息同步过程中完全闲置的计算资源现在得到了充分利用，大大提高了整体的训练效率。这就像是将原本需要严格按顺序进行的工作流程改造成了可以并行进行的流水线作业，在保证质量的前提下大幅提升了生产效率。

研究团队通过严格的理论分析证明了这种延迟机制不会对模型的最终收敛性产生负面影响。事实上，在某些情况下，这种机制还可能带来一些额外的好处，因为它在一定程度上增加了训练过程的随机性，这种随机性有时候能帮助模型避免陷入局部最优解的陷阱。

三、智能压缩：自适应梯度压缩算法

当我们谈论网络传输时，数据压缩就像是旅行时的行李打包艺术。想象你需要进行一次长途旅行，但只能携带一个小行李箱。你需要仔细选择哪些物品是绝对必需的，哪些可以省略，以及如何最有效地利用有限的空间。在DiLoCoX的世界里，需要在网络中传输的梯度信息就像是这些行李，而有限的网络带宽就是那个小行李箱。

传统的大模型训练需要传输海量的梯度数据。研究团队计算发现，对于一个1000亿参数的模型，如果采用传统的方法在三个分布式集群之间进行一次参数更新，需要传输约533.3GB的数据。在1Gbps的网络环境下，仅仅传输这些数据就需要1.18小时，而实际的本地训练时间可能只需要0.13小时。这就像是花了大部分时间在路上赶车，而真正用于工作的时间却很少。

面对这个挑战，研究团队设计了一套精巧的压缩策略。他们深入分析了四种主要的压缩方法，每种方法都有其独特的优势和局限性。随机稀疏化就像是随机丢弃一些不太重要的物品，虽然简单但可能丢掉一些有用的东西。Top-K压缩则像是只保留最重要的物品，但需要额外的空间来记录哪些物品被保留了。量化压缩类似于将精密的物品简化为粗糙但仍然有用的版本。低秩压缩则是基于这样的观察：许多看似复杂的信息实际上可以用更简单的方式表示，就像一本厚厚的小说可以用一个简短的摘要来概括核心内容。

DiLoCoX的创新在于它巧妙地结合了低秩压缩和量化压缩两种方法。这种组合就像是先对行李进行重新整理和分类，然后再进行压缩打包。首先，算法识别出梯度信息中最重要的部分，并用更紧凑的方式表示它们；然后，再对这些信息进行进一步的量化处理，减少每个数据点所需的存储空间。

更令人印象深刻的是，DiLoCoX还引入了自适应机制。研究团队观察到一个重要现象：在模型训练的不同阶段，梯度信息的特性会发生变化。就像一个学生在学习过程中，初期需要学习大量基础知识，而后期更多的是对细节的精细调整。相应地，在训练初期，梯度变化较大，需要传输更多信息；而在后期，梯度趋于稳定，可以使用更激进的压缩策略。

基于这个观察，DiLoCoX设计了一个动态调整的压缩算法。系统会持续监控梯度的变化模式，并相应地调整压缩参数。当检测到梯度变化较大时，系统会使用相对保守的压缩策略，确保重要信息不会丢失；当梯度趋于稳定时，系统会采用更激进的压缩，最大化传输效率。

这种自适应机制还巧妙地与本地训练步数相关联。当压缩更激进时，系统会相应地减少本地训练步数，确保各个节点之间的同步频率适当增加，避免因为信息丢失过多而导致训练发散。这就像是在旅行过程中根据路况调整行进速度和休息频率，确保既能高效前进又不会因为过于匆忙而出现问题。

通过这套精心设计的压缩策略，DiLoCoX能够将通信开销减少到原来的几十分之一，甚至几百分之一，同时保持模型训练的质量基本不受影响。这为在低带宽环境下训练大模型提供了可能性，大大扩展了大模型训练的适用场景。

四、理论保障：收敛性分析与数学基础

任何优秀的工程创新都需要坚实的理论基础作为支撑，就像建造摩天大楼需要精确的力学计算一样。DiLoCoX的设计虽然在实践中表现出色，但更重要的是，研究团队还提供了严格的数学证明来保证这些创新不会影响模型训练的最终效果。

这些理论分析可以比作为一项新的建筑技术提供的安全认证。当建筑师提出一种新的建造方法时，仅仅展示几个成功的案例是不够的，还需要通过详细的数学计算和物理分析来证明这种方法在各种条件下都是安全可靠的。同样，DiLoCoX的理论分析回答了一个关键问题：为什么这些看似激进的优化不会破坏模型的学习能力？

研究团队首先建立了一套完整的数学框架来描述分布式训练过程。他们将整个训练过程抽象为一个优化问题，其中每个参与训练的节点都在尝试最小化一个目标函数。这就像是将复杂的现实世界问题转化为数学语言，使得可以用精确的数学工具来分析和预测系统行为。

对于一步延迟重叠机制，理论分析证明了延迟一步的信息仍然能够为模型提供正确的优化方向。关键洞察是，虽然使用的是"过时"的信息，但在合理的假设条件下（比如模型变化的平滑性），这种延迟不会累积成严重的错误。就像开车时，虽然GPS显示的信息可能有几秒钟的延迟，但只要道路状况相对稳定，这种延迟不会导致你走错方向。

对于梯度压缩算法，研究团队证明了压缩误差在期望意义下是有界的，也就是说，虽然单次压缩可能引入一些噪声，但从长期来看，这些噪声不会积累成系统性偏差。这类似于证明一个测量仪器虽然每次测量都有小的误差，但多次测量的平均值仍然接近真实值。

更重要的是，研究团队还分析了这些不同创新之间的相互作用。他们证明了流水线并行、延迟重叠和梯度压缩这三个组件可以协调工作，不会相互干扰或放大彼此的负面影响。这就像证明一个复杂机械系统中的各个部件不仅各自功能正常，而且能够和谐地协同工作。

理论分析的结果表明，DiLoCoX的收敛速度与传统方法基本相当。具体来说，在相同的假设条件下，DiLoCoX达到最优解的速度与标准的同步训练方法处于同一个数学复杂度类别。这意味着虽然DiLoCoX在实现方式上有很大创新，但在数学本质上，它仍然遵循着优化理论的基本规律。

这些理论结果不仅为DiLoCoX的可靠性提供了保证，也为未来的相关研究提供了重要的理论基础。其他研究者可以基于这些数学框架继续探索更多的优化可能性，或者将类似的思想应用到其他分布式计算问题中。

五、实验验证：从理论到实践的华丽转身

理论分析虽然重要，但最终还是需要通过实际实验来验证创新的真正价值。就像一个新药品无论在实验室里的测试结果多么优秀，都必须通过临床试验来证明其在真实世界中的安全性和有效性。DiLoCoX的实验部分就是这样一个"临床试验"，测试这个创新框架在真实环境中的表现。

研究团队设计了一系列精心安排的实验，覆盖了从小规模到超大规模的不同场景。他们选择了两个具有代表性的模型进行测试：一个是拥有13亿参数的OPT-1.3B模型，另一个是经过定制的拥有1070亿参数的Qwen1.5-107B模型。这种选择就像是既测试新药对常见病症的效果，也测试其对复杂疾病的治疗能力。

实验环境的设计特别值得关注。为了真实模拟分布式集群之间的网络条件，研究团队使用了Linux流量控制技术，人为将网络带宽限制在1Gbps。这就像是在实验室中人为创造恶劣天气条件来测试新型材料的耐候性。这种做法确保了实验结果的真实性和可重复性。

对于较小的OPT-1.3B模型，实验结果令人印象深刻。在相同的压缩比例下（约500倍压缩），DiLoCoX、OpenDiLoCo和CocktailSGD三种方法的最终损失值分别为4.27、5.37和5.79，而作为对照组的传统AllReduce方法的损失值为4.06。这意味着DiLoCoX在几乎不损失训练质量的情况下实现了巨大的效率提升。这就像是新的制造工艺既大幅提高了生产效率，又保持了产品质量。

更令人惊喜的是训练速度的提升。在1Gbps网络环境下，传统AllReduce方法的吞吐量仅为745令牌每秒，而DiLoCoX达到了23,880令牌每秒，提升了32倍。这种提升幅度就像是将原本需要一个月完成的工作压缩到一天之内完成。

当实验规模扩展到1070亿参数的超大模型时，结果更加令人振奋。由于GPU内存限制，OpenDiLoCo无法处理如此大规模的模型，这突出了DiLoCoX的流水线并行策略的重要价值。在这个规模下，传统AllReduce方法的吞吐量降至仅10.4令牌每秒，而DiLoCoX仍然能够达到3,728令牌每秒，实现了357倍的性能提升。

这个数字的意义可以这样理解：原本可能需要几个月甚至几年才能完成的训练任务，现在可以在几天或几周内完成。这不仅仅是量的变化，更是质的飞跃，它让原本只有少数顶级机构才能承担的大模型训练变得更加普及和可行。

为了进一步验证DiLoCoX各个组件的贡献，研究团队还进行了详细的消融实验。他们分别测试了移除一步延迟重叠机制和自适应梯度压缩算法后的性能表现。结果显示，移除一步延迟重叠后，虽然模型收敛质量略有提升（损失从4.20降至4.15），但吞吐量大幅下降（从3,728降至2,197令牌每秒）。移除自适应压缩后，收敛质量进一步提升（损失降至4.02），但吞吐量继续大幅下降（降至1,168令牌每秒）。

这些结果清楚地表明了效率与精度之间的权衡关系，也证明了DiLoCoX在这个权衡中找到了一个非常合理的平衡点。就像调味烹饪一样，虽然可以通过减少调料来保持食材的原始味道，但适量的调料能够在保持主要风味的同时显著提升整体的美味程度。

六、技术细节：工程实现的精妙之处

虽然理论创新和实验验证都很重要，但一个真正有价值的研究成果还需要能够在实际工程中得到实现和应用。DiLoCoX在这方面也展现出了令人印象深刻的工程成熟度，其实现细节体现了研究团队深厚的工程经验和对实际应用场景的深入理解。

在流水线并行的实现上，研究团队采用了一种巧妙的"双优化器政策"。这可以比作在一个大型工厂中，每个生产车间都配备了两套管理系统：一套负责车间内部的日常运营优化，另一套负责与其他车间的协调配合。这种设计不仅避免了传统方法中某些节点负载过重而其他节点相对空闲的问题，还实现了更加均衡的内存使用。

传统的分布式训练方法往往要求某个节点同时承担数据处理和全局协调的双重职责，就像让一个人既要专心做自己的工作，又要时刻关注整个团队的协调，很容易导致效率低下和资源浪费。DiLoCoX的双优化器设计将这两种职责分离，让每个节点都能专注于自己的核心任务，同时通过分布式的协调机制保证整体的一致性。

在梯度压缩的具体实现上，研究团队特别考虑了与现有分布式通信框架的兼容性。他们选择的低秩压缩和量化压缩组合不仅压缩效果出色，还能与广泛使用的AllReduce通信模式完美配合。这就像设计一种新的包装方式，不仅能大幅减少包装体积，还能与现有的物流系统无缝对接，无需对整个运输体系进行大规模改造。

自适应压缩算法的实现尤其值得称道。系统会维护一个"梯度秩窗口"，持续监控最近几个训练步骤中梯度的变化模式。基于这些观察，算法会动态调整压缩参数，就像一个经验丰富的工程师根据机器运行状态实时调整操作参数。当检测到梯度变化较大时，系统会自动降低压缩强度，确保重要信息不会丢失；当梯度趋于稳定时，系统会提高压缩强度，最大化传输效率。

这种自适应机制还考虑了本地训练步数的调整。研究团队发现，压缩强度和本地训练频率之间存在微妙的平衡关系。过于激进的压缩需要通过更频繁的同步来补偿，而保守的压缩则允许更长时间的本地训练。DiLoCoX通过数学公式将这种关系量化，实现了自动化的参数调优。

在实际部署方面，DiLoCoX还考虑了许多工程细节。例如，系统支持动态的节点加入和退出，这在真实的分布式环境中是非常重要的特性，因为网络故障和设备维护是不可避免的。系统还包含了完善的错误恢复机制，当某个节点出现问题时，其他节点可以继续工作，避免整个训练过程的中断。

容错性设计就像为一个复杂的机械系统安装多重保险装置。即使某个部件出现故障，整个系统仍然能够继续运行，只是性能可能会有所下降。这种设计哲学确保了DiLoCoX在真实的生产环境中具有足够的稳定性和可靠性。

七、突破与局限：客观评估研究成果

每一项科学研究都有其独特的贡献和不可避免的局限性，诚实地评估这两方面对于理解研究的真正价值和未来发展方向都是至关重要的。DiLoCoX作为一项创新性研究，在取得显著突破的同时，也面临着一些挑战和限制。

从突破性贡献来看，DiLoCoX最重要的成就是首次实现了在低带宽网络环境下训练超过1000亿参数大模型的可能性。这个成就的意义可以这样理解：它就像是证明了在没有高速公路的地区也能进行大规模的物流运输，从根本上改变了人们对分布式大模型训练的认知边界。

在技术层面，DiLoCoX的创新主要体现在三个方面的有机结合。单独来看，流水线并行、梯度压缩、异步训练都不是全新的概念，但将它们巧妙地组合在一起，并通过理论分析证明其协调性，这是前人未曾实现的。这就像是虽然轮子、发动机、传动系统都已经存在，但将它们完美组合成一辆高效汽车仍然需要创新的工程设计。

DiLoCoX的另一个重要贡献是为分布式AI训练提供了一个新的思路。传统观念认为，要训练大模型就必须拥有最顶级的硬件和网络基础设施，这造成了明显的技术壁垒和资源集中。DiLoCoX证明了通过巧妙的算法设计，可以用相对普通的基础设施实现原本只有顶级设备才能完成的任务。这种"用智慧弥补硬件不足"的思路对整个行业都有重要启发意义。

然而，DiLoCoX也面临着一些值得注意的局限性。首先是适用场景的限制。虽然该框架在低带宽环境下表现出色，但在高带宽环境中，其复杂的协调机制可能反而成为效率的拖累。这就像是为了在山路上行驶而特别设计的越野车，在高速公路上可能不如专门的公路车那样高效。

其次是模型类型的限制。目前的实验主要集中在语言模型上，对于其他类型的深度学习模型（如计算机视觉模型、多模态模型等），DiLoCoX的效果还需要进一步验证。不同类型的模型在训练过程中表现出不同的特性，原本针对语言模型优化的策略可能需要调整才能适用于其他领域。

第三个挑战是系统复杂性的增加。相比于传统的同步训练方法，DiLoCoX引入了更多的参数需要调优，更复杂的协调机制需要监控。这就像是高级汽车虽然性能更强，但也需要更专业的维护和更精细的操作。对于一些资源有限的研究团队来说，这种复杂性可能成为采用障碍。

此外，虽然理论分析证明了DiLoCoX的收敛性，但在某些极端情况下（如网络极不稳定、节点频繁故障等），系统的鲁棒性还需要更多的实际验证。真实世界的复杂性往往超出理论模型的假设范围，这是所有理论驱动的工程系统都面临的共同挑战。

从长期发展角度来看，DiLoCoX更大的价值可能在于它所代表的研究方向。它证明了通过算法创新来克服硬件限制的可行性，这种思路对于推动AI技术的普及和民主化具有重要意义。随着相关技术的进一步发展和完善，我们有理由期待看到更多类似的创新，让AI技术能够在更广泛的环境中得到应用。

说到底，DiLoCoX的出现标志着分布式AI训练领域的一个重要里程碑。虽然它还不是一个完美的解决方案，但它为这个领域开辟了新的可能性，展示了通过创新思维突破传统限制的潜力。对于整个AI行业来说，这种探索精神和技术突破本身就具有超越具体技术细节的重要价值。

这项研究最终证明了一个重要观点：在科技发展中，硬件的限制虽然真实存在，但绝不是不可逾越的障碍。通过巧妙的算法设计和工程创新，我们总能找到新的路径来实现看似不可能的目标。DiLoCoX就是这种创新精神的一个典型体现，它不仅解决了一个具体的技术问题，更重要的是为未来的相关研究指明了方向。

Q&A

Q1：DiLoCoX是什么？它能解决什么问题？ A：DiLoCoX是一个专门为低带宽网络环境设计的大模型训练框架。它解决的核心问题是如何在网络连接较慢的分布式环境中训练超大规模AI模型。传统方法需要高速网络才能训练千亿参数模型，而DiLoCoX能在仅有1Gbps带宽的环境下实现同样效果，训练速度比传统方法快357倍。

Q2：DiLoCoX的训练质量会不会因为压缩和延迟而下降？ A：不会显著下降。研究团队通过严格的理论分析和实验验证证明，DiLoCoX的模型收敛质量与传统方法基本相当。虽然使用了梯度压缩和一步延迟机制，但这些技术都经过精心设计，确保在提高效率的同时保持训练质量。实验显示其训练损失仅略高于传统方法，差异微乎其微。

Q3：普通研究机构或企业能使用DiLoCoX吗？有什么要求？ A：可以使用，这正是DiLoCoX的重要价值所在。它大大降低了训练大模型的硬件门槛，不再需要最顶级的网络基础设施。只要有分布在不同地点的GPU资源和基本的网络连接（1Gbps即可），就能训练千亿参数模型。不过系统相对复杂，需要一定的技术团队来部署和维护。