盛大旗下Alaya Lab打造"活的游戏引擎"：AI能自动生成你能走进去探索的虚拟世界了

这项由Alaya Lab（盛大旗下研究团队）完成的研究成果以技术报告形式发布于2026年7月20日，论文编号为arXiv:2607.18367，感兴趣的读者可以通过该编号查阅完整技术细节。

做游戏有多难？不妨这样理解：一款3A大作背后，是数百名艺术家为每棵树、每块石头单独建模，是程序员为角色的每个动作单独编写逻辑，是物理工程师反复调试水面的涟漪该怎么扩散。整个流程动辄耗费数年时间和数亿资金，最终呈现在玩家面前的，只是一个精心设计但边界清晰的"盒子"——你只能按照开发者铺好的路走，世界不会真正因你而改变。

Alaya Lab的研究者们思考了一个截然不同的问题：如果不建模、不编程，只是把一张图、一段文字或一段视频丢给AI，它能不能直接"凭空造出"一个你可以真正走进去、转身看、甚至驱动魔法爆炸的活的世界？

AlayaWorld就是他们给出的答案。这个系统能以每秒24帧的速度生成540p乃至720p分辨率的视频画面，你可以控制摄像机在其中四处游走，可以随时切换文字指令触发闪电、战斗或怪物召唤，系统会把你走过的地方记住，当你原路折返时，那片风景依然是你离开时的模样。更关键的是，这一切在理论上可以永无止境地延伸下去，而每生成新的一秒画面所需的计算量，并不会随着时间推移而累积增加。

---

一、为什么造一个"活的虚拟世界"如此困难

要真正理解AlayaWorld的难度，先想象你在用手机导航。导航软件知道你现在在哪、你要去哪、路况如何，它的每一条指令都要和你的实时位置严丝合缝。现在把这件事复杂化一百倍：你不仅要在地图上导航，还要在你走过的每一条街道上实时渲染建筑、人群、光影，还要记住你半小时前经过的那个转角长什么样，因为你现在要从那个转角原路返回。同时，你给系统发出一条指令"召唤一只火焰巨龙"，它要在接下来几帧内自然地让龙从地平线飞来，而不是让整个场景突然崩塌。

研究团队把这个问题归结为四项必须同时解决、又彼此牵制的能力。第一项是交互性：系统要能精确响应用户的摄像机控制指令和文字描述，你说"向左转"，视角就该流畅地向左转；第二项是时空一致性：世界的结构、颜色、物体的位置要保持稳定，不能一转身墙壁就换了颜色；第三项是长程稳定性：随着时间推移，画面不能越来越模糊、越来越偏色，不能让场景在几十秒后悄悄变成另一个样子；第四项是响应效率：生成新画面的速度要足够快，用户才能感受到"实时互动"而非漫长等待。

这四项能力彼此冲突——交互范围越广，一致性越难维护；生成的时间越长，误差就越容易累积；想要质量高，速度就更难保证。AlayaWorld要做的，就是在一个统一的框架里同时应对这四重压力。

---

二、训练这个"世界引擎"需要喂什么食材

就像一个厨师的水平很大程度上取决于他尝过多少食材，AlayaWorld的能力也深刻依赖于它被训练时看过什么样的视频。研究团队精心搭配了一套"食谱"，总计包含222,147段视频素材，来自七个各有侧重的来源。

真实世界的拍摄视频构成了这套食谱的基础口味。Sekai-Real数据集贡献了超过两万段第一人称城市步行视频——就是那种你把手机举在胸前边走边拍的素材——让AI学会了"行走时世界应该怎么晃动"。SpatialVid提供了两万多段室内密集运动镜头，RealEstate10K则是房产中介拍房子时的走廊穿越视角，帮AI建立起对室内空间的理解。DL3DV贡献了将近八千段大型场景的连续游走视频，是让AI理解"绕着一个地方转一大圈"时透视应该如何变化的关键。团队内部自己采集的MUGEN数据集则从YouTube上筛选了两万多段摄像机轨迹各异的视频，并配上了精准的标注。

合成渲染数据则提供了真实拍摄很难覆盖的"极端场景"。GameVerse是团队内部建立的大规模游戏画面库，包含十二万四千多段、每段约一分钟的游戏录像，涵盖了各种游戏类型的视角和动作。GenEvent则贡献了六千多段由生成式视频模型合成的"事件驱动"片段，专门覆盖那些在真实拍摄和游戏录像里都很罕见的场景——比如爆炸、魔法、怪物突然出现。

光有素材还不够，还得保证质量。研究团队建立了一套统一的六关筛选流程，每段视频都得通过技术验证（分辨率至少720p、时长至少3秒、帧率24到65帧之间）、光度验证（剔除曝光极端或黑边过多的素材）、镜头连续性验证（确保每段视频都是单个连续镜头而非多个镜头拼接）、运动分析（过滤掉完全静止的视频，归类摄像机运动模式）、文字与界面清除（用OCR技术检测并剔除字幕、水印、游戏HUD界面）、以及人物控制（限制画面中人物的数量和占据面积）。这套流程的关键在于"先算特征、后复用"——视频只解码一次，所有筛选规则都读取缓存好的分析结果，大大节约了计算资源。

除了筛选，每段视频还得配上训练专用的精细字幕。研究团队没有用一句笼统的描述打发整段视频，而是采用两层标注方案：视频整体层面记录天气、时间、地点类型、摄像机视角等全局属性；每段视频还被分割成带时间戳的片段，每个片段分别标注主体的运动、环境的动态、静态场景属性、以及摄像机的位置和运动——这四条轨迹彼此独立，让AI能清晰区分"人在走"和"镜头在推进"的区别。这些标注由Kimi-K2.6等视觉语言模型自动生成，每段输入视频按每秒一到两帧采样，每帧都打上时间戳，引导模型按时间顺序描述而非给出笼统摘要。

---

三、三个阶段的"厨艺修炼"

AlayaWorld的核心是一个拥有约130亿参数的视频扩散变换模型（可以理解为一个规模巨大的AI神经网络）。这个模型的训练分三个阶段进行，每个阶段解决一类不同的问题，就像一个厨师先学刀工、再学火候、最后学摆盘。

第一阶段叫"双向预训练"，目标是让模型先把基础视频生成学好。研究团队以公开的LTX-2.3视频模型为起点，这是一个已经在海量通用视频上训练好的模型。第一阶段对它进行全参数微调，把它的"口味"从通用视频调整到世界模拟所需的视频风格——包括24帧的游走镜头、多种分辨率、以及各类场景下的画面质感。这个阶段里，模型还没有"记忆"能力，也没有摄像机控制功能，纯粹是在建立对这类视频的基础理解。训练时还引入了一个小技巧：文字描述里关于摄像机运动的部分会被随机丢弃，强迫模型不要依赖文字猜测摄像机方向，为后续专门的摄像机控制模块留出空间。

第二阶段叫"自回归训练"，这是把模型从"会生成视频"改造成"会一段一段地持续生成可交互世界"的关键环节。这个阶段分两步走。第一步先单独训练一个"历史压缩模块"——可以把它理解为AI的短期记忆。这个模块接受过去六帧的画面，把它们压缩成一个紧凑的信息摘要，让主模型在生成下一段视频时能参考"刚才发生了什么"。训练时故意给历史帧加入不同程度的噪声，让模块学会从模糊、有错误的历史中依然提取有用信息。第二步再把所有东西一起微调：历史压缩模块、摄像机控制模块、以及一个叫"下一帧预测头"的辅助结构——这个辅助结构像是给主模型增加了一个"向前预判"的习惯，让它在生成当前这段视频时顺带预想下一段该怎么接，从而让片段与片段之间的衔接更加流畅。

摄像机控制的实现方式值得专门说一说。每一帧的摄像机位置变化被拆解成六个方向的分量，每个分量都经过数学变换（傅里叶编码）变成一串数字信号，六路信号拼接后经过一个小型神经网络处理，最终以"调整每一层神经元的缩放和偏移量"的方式把运动信息注入主模型。这样的设计让摄像机指令和画面内容深度融合，而不是简单地在画面上贴一个"转向滤镜"。

第二阶段还专门对付一个长程生成的顽疾：误差累积。就像打电话时信号一层一层中继传输会越来越失真，AI在自己的输出上继续生成时，微小的画面偏差会在数十秒后放大成明显的颜色漂移、模糊或场景崩塌。研究团队用了两套机制来抵抗这种漂移。第一套叫"Helios漂移模拟"，在训练时故意给历史帧施加三种类型的人工损坏——加入随机噪声、对画面进行模糊处理、以及改变颜色饱和度——迫使模型学会"即使历史有点坏掉，我也能生成合理的下一帧"。第二套叫"误差银行"，系统在训练过程中把模型自己生成的每一帧与真实答案之间的差值记录下来，攒成一个"错误库"，然后在后续训练中把这些真实的错误模式注入历史帧，让模型专门练习从自己实际会犯的错误中恢复。两套机制交替使用，先用漂移模拟预热，等误差银行积累到足够丰富再切换为优先使用银行里的真实错误。

第三阶段叫"后训练加速"，解决的是效率问题。经过前两个阶段训练的模型每生成一个画面片段需要大约30次迭代运算，这个速度对于实时互动而言太慢了。研究团队把这个慢速的"老师模型"压缩成只需4次迭代的"学生模型"，同时完整保留了摄像机控制、时间记忆和空间记忆的全套能力。

这个压缩过程用了三种技术的组合。分布匹配蒸馏的逻辑是：让学生模型生成的画面在统计特征上尽量接近老师模型，而不是傻乎乎地对着老师模型的输出做像素级模仿——这就像学厨师不是照抄食谱，而是把菜做到让评委的感受和吃老师做的菜一样好。自强制++技术解决的是训练和实际使用之间的差距：训练时学生模型用自己之前生成的结果作为下一段的输入，而不是用真实视频做输入，这样模拟的才是真正上线时的情况。一致性蒸馏则专门抑制相邻片段连接处可能出现的画面闪烁，让50个不同噪声级别下的预测结果彼此保持一致，就像确保每一段接龙的故事开头和上一段的结尾在语气上完全连贯。

---

四、AI如何给自己建立"空间记忆"

这是AlayaWorld里技术含量最高、也最令人着迷的一部分。当你控制摄像机在一个AI生成的世界里转悠，走过一片广场、进入一条小巷、再绕回广场时，系统怎么知道广场应该还是原来那个广场？

研究团队把答案分成了两套互补的记忆系统，合起来构成了AI对世界的"空间感知"。

时间记忆处理的是"刚刚发生的事"。历史压缩模块把最近六帧的内容压缩成一个轻量级摘要，每生成一个新片段就更新一次这个摘要，像是大脑里的工作记忆，确保动作的连贯和帧与帧之间的衔接。此外，最近一帧的完整画面会以"全分辨率"的形式直接放在生成序列的最前面，作为当前片段起点的直接参考。

空间记忆处理的是"曾经去过的地方"。这套机制维护着一个不断增长的"场景档案库"，里面存着每一帧曾经生成过的画面、配套的深度估计（每个像素离镜头多远）、以及对应的摄像机位置。当AI需要生成新的一段画面时，它会先查询这个档案库：当前摄像机角度能看到哪些以前记录过的位置？最多选出10帧最能覆盖当前视野的历史帧，然后做一件很精妙的事——把这些历史帧里的每个像素，根据其记录的深度信息，"投影"到当前摄像机视角下应该出现的位置，就像把一张老照片从当年拍摄的角度重新投影到今天站立的位置。这个过程叫"前向溅射"，处理好遮挡关系之后，得到一张当前视角下的"记忆草图"。这张草图连同一张标记"哪些区域没有历史记录可以参考"的遮罩，一起送入主模型，让模型知道哪些部分可以参考过去的观察，哪些部分需要自己发挥创造。整个空间记忆的工作方式，有点像侦探在地图上标记曾经走访过的地点，每次出门都先查一遍地图上的记录，再决定遇到没去过的地方时怎么填补。

还有一个全局锚定帧贯穿整个生成过程始终。这是第一帧的画面，被永久固定在序列的最开头，就像一张"出发时拍的合影"，确保不管走多远，AI生成的世界在视觉风格和整体外观上始终和起点保持一致。训练时故意让这帧画面和生成目标相距至少八帧，防止模型偷懒地直接从第一帧猜测下一帧，强迫它真正依赖摄像机控制信号来理解运动方向。

这套时间记忆加空间记忆的组合，使得整个生成过程所需的计算量保持在一个固定的范围内，无论你已经探索了五秒钟还是五分钟，每生成下一秒的画面所需的资源都是一样的。这一点至关重要，因为它意味着世界的探索可以在理论上无限延伸。

---

五、实测结果：AI生成的世界有多稳定

研究团队在iWorld-Bench评测基准上对AlayaWorld进行了系统测试，这个基准专门为交互式世界模型设计，涵盖三个维度：生成质量、轨迹跟随、以及记忆能力。对比的选手包括NVIDIA的Cosmos、腾讯的HunyuanVideo-1.5、阿里的WAN 2.2、混元世界的HY-World 1.5，以及Matrix-Game 2.0等多个同类系统。

在生成质量方面，AlayaWorld在亮度一致性、色温稳定性和清晰度保持三项指标上全面领先。亮度一致性得分0.9492，HY-World 1.5是0.8051，排名第二的HunyuanVideo-1.5仅有0.7027。色温稳定性得分0.9379，对应排名第二的0.7819。清晰度保持得分0.8361，而其他模型普遍徘徊在0.3到0.6之间。这三项数据背后的含义是：当其他系统生成的世界在十几秒后画面开始模糊、光线开始漂移时，AlayaWorld的画面依然清晰、颜色依然稳定。唯一没有拿到第一的指标是图像质量绝对值，HunyuanVideo-1.5以0.7128小幅领先，AlayaWorld是0.6620——这个差距来自于AlayaWorld每段只用四步生成，而对手的生成步数更多、单帧质量更精细。

在轨迹跟随方面，AlayaWorld在运动流畅度（0.9924）和轨迹准确性（0.7985）两项均位居第一，说明用户给出的摄像机运动指令能得到最精准、最流畅的响应。

在记忆能力方面，AlayaWorld同样全面领先。记忆对称性——即沿原路折返后场景与离开时有多一致——得分0.8871，HY-World 1.5是0.8481，而其他系统普遍低于0.65。轨迹对齐得分0.7018，对比HY-World 1.5的0.6776。这两项数据说明AlayaWorld的空间记忆机制确实在起作用，折返场景的还原程度明显优于竞争对手。

此外，研究团队还参与了WorldMark测试平台的盲测评估，评测者在不知道视频由哪个模型生成的情况下进行两两对比打分，最终结果通过Elo积分制汇总，这个评测方式类似围棋等级分制度，能比较客观地反映模型之间的相对实力。

定性展示方面，研究团队展示了四类典型场景：在不同平移和旋转指令下保持场景几何一致的摄像机控制效果；在进行中的探索途中随时切换文字提示触发法术施放、战斗、物体出现等事件；在离开某个区域后原路返回时场景结构和细节的恢复情况；以及超过60秒的长程连续生成视频，展示画面质量随时间的稳定程度。

---

六、这一切有哪些局限，下一步要做什么

研究团队在论文中坦率地指出了AlayaWorld目前的边界。整个系统对世界的理解，本质上还是停留在"视觉层面"：它知道一面墙应该长什么样，也能在你折返时把那面墙还原出来，但它并不真正理解"墙是硬的，所以走路不能穿过去"。物理规律、物体的内部状态（比如箱子里装的是什么）、以及长期任务的因果结构（你打倒了一个怪物，下一关的地图应该怎么改变），这些都超出了当前系统靠视觉经验所能覆盖的范围。

归根结底，AlayaWorld做到的事情是：用AI的方式低成本地生成一个看起来连贯、可以走动、可以交互的视觉世界。它把过去需要整个开发团队花数年时间才能建出来的虚拟场景，变成了一张图或一句话就能召唤的东西。

这项研究以完全开源的方式发布，代码和模型权重都公开在GitHub上，研究团队明确把它定位为"长期项目的起点"，邀请外部研究者在这个基础上继续构建更完善的交互世界模型。从这个角度看，AlayaWorld更像是一张地基——地基本身还不是豪宅，但它决定了豪宅最终能盖多高。

对于普通人而言，这项研究意味着什么？或许几年后，你想要一个专属于自己的游戏世界，不需要等待游戏公司花五年时间开发，只需要描述你想要的样子，AI就能实时生成一个你可以走进去探索的地方。那个世界会记得你走过哪里，会在你折返时认出你离开时的路口，还会在你说一句话之后让天空燃起你要求的那种火焰。这个场景距离现实还有多远？AlayaWorld给出的答案是：不像从前那样遥远了。

---

Q&A

Q1：AlayaWorld和普通的AI视频生成有什么区别？

A：普通AI视频生成是"一次性"的，你输入一段提示词，它输出一段固定的视频，这个视频不能交互，你也无法控制摄像机走向或者中途改变场景内容。AlayaWorld不同，它能让你像在玩游戏一样控制视角方向，能在视频生成过程中随时切换文字指令触发新事件，而且系统会记住你走过哪里，原路折返时场景依然保持一致。本质区别在于AlayaWorld生成的是一个可以持续探索的活的虚拟空间，而不是一段预设的视频片段。

Q2：AlayaWorld的空间记忆是怎么工作的？

A：系统维护一个不断增长的"场景档案库"，记录每一帧生成过的画面、每个像素离摄像机的距离（深度信息），以及对应的摄像机位置。当需要生成新画面时，系统从档案库里挑出最多10帧历史画面，根据深度信息把它们"投影"到当前摄像机视角下，生成一张"记忆草图"，主模型参考这张草图来确保场景和历史观察保持一致。没有历史记录覆盖的区域则由模型自己创造填充。

Q3：AlayaWorld只用4步就能生成画面，质量会不会差很多？

A：确实存在一定取舍。在绝对图像质量这项指标上，AlayaWorld（0.6620）略低于HunyuanVideo-1.5（0.7128），后者使用了更多生成步骤。但在亮度一致性、色温稳定性、清晰度保持这些衡量长程稳定性的指标上，AlayaWorld全面领先。4步生成的意义在于让实时交互成为可能——如果每段画面需要30步，用户就得等待数秒才能看到摄像机转向的结果，根本谈不上"交互"。研究团队通过分布匹配蒸馏、一致性蒸馏等技术，在大幅压缩步骤的同时尽量保全了画面连贯性。