阿里巴巴团队突破分钟级视频生成：BlockVid让AI拍出连贯长片不再是梦

这项由阿里巴巴达摩院的张泽宇、常舒宁等研究人员与浙江大学ZIP实验室和湖畔实验室合作完成的研究发表于2025年12月1日，论文编号为arXiv:2511.22973。有兴趣深入了解的读者可以通过该编号查询完整论文。

当你打开抖音或YouTube刷视频时，那些看似连贯流畅的内容背后其实隐藏着AI视频生成的巨大挑战。就像用积木搭建一座城市，每增加一块积木，整个结构就更容易倒塌一样，AI在生成视频时也面临着类似的困境——视频越长，画面越容易失真、主角可能会"变脸"、背景会"漂移"，整个故事就这样崩坏了。

阿里巴巴的研究团队就像是解决这个"积木城市"难题的建筑大师。他们开发的BlockVid系统能够生成长达一分钟的连贯视频，这在AI视频生成领域是一个重大突破。要知道，此前大多数AI系统只能生成几秒钟的短视频，而且质量往往不尽人意。这就好比从只能搭建小房子的水平一跃成为能够建造摩天大楼的专家。

这项技术的革命性在于它采用了一种全新的"分块扩散"方法。传统的AI视频生成就像是一口气画完整幅画，而BlockVid更像是分段创作一部连续剧——每次专心画好一个片段，然后巧妙地与前面的内容连接起来。这种方法不仅保证了画面质量，还确保了故事的连贯性。

研究团队为了验证他们的成果，还专门创建了一个名为LV-Bench的评估基准，包含了1000个分钟级视频，用来测试各种AI模型的长视频生成能力。就像是为赛车手设计了一条专业赛道，让不同的"选手"在相同条件下一较高下。结果显示，BlockVid在多项关键指标上都大幅领先现有技术，在主体一致性方面提升了22.2%，在画面清晰度方面提升了19.4%。

一、AI视频生成的"记忆力"难题

当我们观看一部电影时，主角从头到尾都是同一个人，背景不会突然变换，这看起来理所当然。但对AI来说，这却是个巨大挑战。现在的AI视频生成技术面临着三种主要困境，就像三个不同性格的厨师各有各的问题。

第一种是"自回归模式"，这种方法就像是一个健忘的厨师，只能记住前一道菜的味道。它在做菜时需要不断参考前面的成果，但随着菜品增多，味道会越来越偏离原本的设计。虽然这种方法理论上可以无限延长视频，但质量会逐渐下降，就像复印件的复印件，越复制越模糊。

第二种是"扩散模式"，这就像是一个完美主义的厨师，每道菜都要精工细作，品质绝佳，但效率极低，而且只能做固定分量的菜，无法灵活调整。这种方法生成的视频质量很高，但无法生成任意长度的内容，就像只会做套餐不会单点的餐厅。

第三种就是BlockVid采用的"块扩散模式"，这就像是一个既有天赋又有方法的大厨。他把一顿大餐分解成多个精心设计的小菜，每道菜都保持高质量，同时菜品之间又完美搭配。这种方法既保证了质量，又实现了灵活性，还提高了效率。

然而即使是这种先进的方法，也面临着"记忆累积误差"的问题。就像传话游戏一样，信息在传递过程中会逐渐失真。AI在生成每个新片段时，都需要参考之前的内容，而这些"记忆"中可能已经包含了小错误。随着视频越来越长，这些小错误会像滚雪球一样越积越多，最终导致画面崩坏。

更严重的是，现有的评估体系也存在缺陷。就像用短跑的标准来评价马拉松选手一样，大多数现有的评估工具都是为短视频设计的，无法准确衡量长视频的质量和一致性。这就导致研究人员缺乏有效的"测量工具"来判断自己的方法是否真正有效。

二、BlockVid的三大创新武器

面对这些挑战，阿里巴巴的研究团队就像是装备精良的探险队，准备了三件创新武器来攻克长视频生成这座高峰。

第一件武器是"语义稀疏KV缓存"，这就像是给AI配备了一个智能记忆助手。传统方法会把所有历史信息都存储下来，就像把家里每一张纸片都保留着，最终导致存储空间爆满且很难找到有用信息。而这个智能助手会自动筛选最重要的信息，只保留那些真正影响故事发展的关键内容。更巧妙的是，当需要生成新片段时，这个助手会根据当前情况智能检索最相关的历史信息，就像一个经验丰富的图书管理员，总能快速找到你需要的那本书。

这个系统的工作原理就像一个高效的新闻编辑部。当大量新闻素材涌入时，编辑会根据重要性和相关性进行筛选，只保留最有价值的信息。同时，当需要写新报道时，编辑会快速检索相关的背景资料，确保新闻的连贯性和准确性。通过这种方式，AI不仅节省了存储空间，还避免了无用信息的干扰，大大提高了生成质量。

第二件武器是"块强制训练策略"，这就像是给AI设计了一套完整的武术修炼体系。传统的训练方法只教AI如何出招，却没有教它如何在实战中保持节奏和连贯性。而这套新的训练体系包含两个核心要素：块强制和自强制。

块强制就像是武术中的"桩功"训练，强调基础姿势的稳定性。它要求AI在生成每个新片段时，不仅要保证当前内容的质量，还要确保与历史内容的语义一致性。这就像学习书法时，不仅要写好每个字，还要保证整篇文章的风格统一。

自强制则像是"实战演练"，让AI在训练过程中就体验真实应用时的情况。传统训练中，AI总是看到标准答案，就像学生总是看着课本背书。而在自强制训练中，AI必须根据自己之前的输出来继续创作，就像即兴演讲一样，这大大提高了AI的适应能力和稳定性。

第三件武器是"分块噪声调度和打乱策略"，这就像是给视频制作过程增加了精妙的节奏控制。在生成长视频时，不同位置的片段应该承担不同的责任。开头的片段就像是交响乐的主旋律，需要清晰稳定地建立整个故事的基调；而后面的片段更像是变奏，可以在保持主旋律的基础上增加一些创新元素。

具体来说，系统会给前面的片段分配较少的"噪声"（可以理解为不确定性），让它们更加稳定可靠；给后面的片段分配较多的噪声，让它们更多地依赖前面已经确立的内容。这就像建房子时，先把地基打得特别牢固，然后逐层建设，每一层都以下面的结构为准。

同时，系统还会在片段之间的连接处进行巧妙的"噪声打乱"。这就像在拼图时，让相邻的两块拼图边缘有一些重叠，确保它们能够完美贴合。通过这种方式，不同片段之间的过渡变得更加自然流畅，避免了突兀的跳跃感。

三、训练AI的"武功心法"

要让AI掌握长视频生成这项技能，就像培养一个武林高手一样，需要系统的训练方法和深厚的"内功心法"。BlockVid的训练过程采用了一种创新的"块强制"策略，这就像是武术中的"内外兼修"理念。

在传统的AI训练中，系统只学会了如何生成单个视频片段，就像只学会了单招而没有学会套路。而块强制策略通过一种巧妙的数学框架，同时教会AI两个核心技能：保持当前片段的高质量，以及确保与历史内容的语义连贯性。

这个框架基于"流匹配"的数学原理，可以把它想象成河流的流向控制。在自然界中，河流需要既保持流水的清澈（质量），又要确保流向的一致性（连贯性）。块强制策略就像是在河流的关键节点设置了智能的导流装置，既不影响水流的自然性，又确保整条河流的方向正确。

具体来说，当AI生成新片段时，系统会同时计算两个"引力"：一个是让当前片段尽可能清晰准确的引力，另一个是让当前片段与最相关历史内容保持一致的引力。这两个引力会按照一定比例进行平衡，就像调制鸡尾酒时需要平衡不同原料的比例一样。研究团队通过大量实验发现，这个比例的最优值是0.78，这意味着系统更注重当前质量，但也充分考虑历史连贯性。

除了块强制，系统还采用了"自强制"训练策略。这就像是让学生在没有标准答案的情况下做练习题，迫使他们真正理解知识而不是死记硬背。在自强制训练中，AI必须基于自己之前生成的内容来创作新内容，这完全模拟了真实应用时的情况。

为了让这种训练更加有效，研究团队还设计了一个对抗性学习框架。这就像是让两个学生相互竞争：一个学生专门生成视频，另一个学生专门判断视频的真假。生成学生会努力创作出更逼真的视频来"欺骗"判断学生，而判断学生会不断提高自己的识别能力。通过这种良性竞争，两个"学生"都变得越来越强，最终生成的视频质量也越来越高。

四、智能记忆管理系统

在长视频生成过程中，如何管理历史信息是一个关键挑战，就像管理一个庞大图书馆一样。BlockVid设计的"语义稀疏KV缓存"系统就像是一个超级智能的图书管理员，不仅知道哪些书最重要，还能根据读者的需求快速找到最相关的资料。

传统的记忆管理方式就像是把所有书都按时间顺序排列，虽然简单，但当书籍数量庞大时就很难快速找到需要的信息。更糟糕的是，这种方式会占用大量存储空间，而且容易受到无关信息的干扰。想象一下，如果你在写一篇关于古代历史的文章，却要翻阅大量现代科技资料，不仅浪费时间，还可能导致内容混乱。

BlockVid的解决方案是建立一个动态的重要性评估机制。系统会实时分析每个信息片段的"注意力分数"，这就像是给每本书贴上重要程度的标签。具体来说，系统会计算不同信息之间的关联强度，然后选择那些累积重要性达到总量98%的关键信息进行保存。这相当于只保留图书馆中最精华的2%图书，但这些图书包含了98%的有用信息。

更巧妙的是，这个系统还具备语义检索功能。当需要生成新内容时，系统不是简单地查看最近的历史信息，而是根据当前内容的语义特征，在整个历史库中搜索最相关的片段。这就像是一个经验丰富的研究助手，总能从浩如烟海的资料中找到与当前研究主题最契合的参考文献。

这种智能检索基于文本嵌入的相似性计算。系统会将每个视频片段对应的文字描述转换成高维数学向量，然后通过计算向量之间的余弦相似度来判断内容的相关性。当相似度超过设定阈值时，系统就会将这些历史片段纳入当前生成的参考范围。这种方法确保了生成内容的语义一致性，就像确保小说的不同章节都围绕同一个主题展开。

为了进一步优化性能，系统还采用了混合检索策略。除了语义相关的历史片段，系统还会保留最近的2-3个片段作为"局部记忆"。这就像是在查阅历史资料的同时，也要考虑最新发生的事件，确保故事的时间连贯性。通过这种方式，BlockVid既保证了长期的语义一致性，又维护了短期的时间逻辑，使得生成的视频既有深度又有连贯性。

五、精妙的噪声控制艺术

在AI视频生成中，"噪声"并不是我们日常理解的那种讨厌的杂音，而是一种创造性的随机性，就像艺术家作画时故意留下的一些不确定性，让作品更有生命力。BlockVid在噪声控制方面的创新，就像是掌握了一门精妙的艺术。

传统的视频生成方法对所有片段使用相同的噪声水平，就像用同样的画笔力度画整幅画。但BlockVid采用了"渐进式噪声调度"策略，就像画家会根据画面不同部分的需要调整笔触的轻重。对于视频的开头部分，系统使用较低的噪声水平，确保这些片段能够清晰稳定地建立故事基调，就像建筑的地基必须特别牢固一样。

随着视频的推进，系统会逐渐增加噪声水平。这并不意味着质量下降，而是让后面的片段更多地依赖前面已经建立的内容基础。就像写小说时，开头几章需要详细交代背景和人物，而后面的章节可以在这个基础上更加自由地发展情节。这种设计遵循余弦调度函数，确保噪声的增加是平滑渐进的，避免了突兀的变化。

更精妙的是系统的"分块噪声打乱"技术。这个技术的灵感来自于"FreeNoise"方法，但针对分块生成进行了巧妙改进。想象你在制作一部连续剧，每集都有自己的小高潮，但集与集之间需要完美衔接。系统会在每个片段的边界处进行特殊处理，让相邻片段的最后几帧和开头几帧共享一些随机性特征。

具体来说，系统会对每个片段的前4帧和后4帧进行"局部打乱"。这就像在拼图时，让相邻拼图块的边缘有一些共同的纹理特征，确保它们能够无缝拼接。这种局部打乱不会影响片段内部的连贯性，但会显著改善片段间的过渡质量，让整个视频看起来更加流畅自然。

这种噪声控制策略的效果显著。在实验中，使用渐进式噪声调度的版本比使用固定噪声的版本在主体一致性方面提高了约5%，在背景稳定性方面提高了约3%。虽然这些数字看起来不大，但在AI视频生成领域，这样的提升已经是相当显著的改进，就像在百米赛跑中提高0.1秒可能就意味着从第二名变成第一名。

六、革命性的评估基准LV-Bench

为了准确评估长视频生成技术的效果，研究团队面临着一个现实问题：现有的评估工具就像是用测量体温的温度计来测量房间温度一样，根本不合适。大多数现有的视频质量评估工具都是为短视频设计的，无法准确反映长视频中的累积误差和一致性问题。

为了解决这个问题，研究团队创建了LV-Bench，这是目前最全面的长视频生成评估基准。这个基准就像是为长跑运动员专门设计的马拉松赛道，不仅考虑速度，还要考虑耐力和稳定性。LV-Bench包含了1000个精心挑选的分钟级视频，每个视频都被切分成多个2-5秒的片段，并为每个片段提供了详细的文字描述。

这些视频的来源非常多样化，包括DanceTrack数据集中的舞蹈视频、GOT-10k数据集中的物体追踪视频、HD-VILA-100M数据集中的高清视频，以及ShareGPT4V数据集中的对话场景视频。视频内容涵盖了人物活动（占67%）、动物行为（占17%）和环境场景（占16%），确保了评估的全面性和代表性。

为了生成高质量的标注，研究团队采用了GPT-4o作为"数据引擎"，就像雇佣了一个专业的视频解说员来为每个片段写解说词。这个过程不是简单的自动化，而是结合了人工审核的"人在回路"验证机制。专业标注员会在数据收集、片段切分和文字描述生成的每个环节进行质量检查，确保最终数据的准确性和一致性。

更重要的是，研究团队还开发了一套全新的评估指标——"视频漂移误差"（VDE）。这套指标就像是专门为长视频设计的健康体检系统，能够精确检测出长视频中可能出现的各种"病症"。VDE包含五个核心维度：主体一致性、背景稳定性、运动平滑性、美学质量和画面清晰度。

每个指标都采用加权平均绝对百分比误差的计算方法，这听起来复杂，但原理很简单：就像监测病人的体温变化一样，系统会持续监测视频在不同时间点的质量指标，然后计算这些指标相对于初始状态的偏离程度。如果偏离太大，就说明视频出现了"漂移"问题。

这种评估方法的优势在于它能够捕捉到传统评估方法忽略的累积性错误。就像体检中不仅要看当前的血压值，还要看血压的变化趋势一样，VDE不仅关注每个片段的绝对质量，更关注整个视频的一致性和稳定性。

七、实验结果的全面胜利

当BlockVid与现有的顶尖技术同台竞技时，就像是一场激烈的田径比赛，结果令人印象深刻。在LV-Bench这个专业赛道上，BlockVid在几乎所有重要指标上都取得了显著优势，展现出了全面的技术领先性。

在最关键的主体一致性测试中，BlockVid的表现就像是一个记忆力超群的演员，始终能够保持角色的完整性。传统的MAGI-1方法在这项测试中的VDE分数为0.3090，而BlockVid仅为0.0844，相当于错误率降低了73%。这意味着在一分钟的视频中，传统方法可能会让主角逐渐"变脸"或改变外观，而BlockVid能够始终保持角色的一致性。

在背景稳定性方面，BlockVid同样表现出色。传统方法经常出现"背景漂移"现象，就像拍摄过程中摄像机在不断晃动一样，而BlockVid将这种问题的发生率降低了41%。这确保了视频中的场景始终保持稳定，不会出现建筑物变形、道路扭曲等奇怪现象。

在运动平滑性测试中，BlockVid的优势更加明显。许多AI系统在生成长视频时会出现"卡顿"或"跳跃"现象，就像网络不佳时的视频播放一样。而BlockVid通过精妙的噪声控制和记忆管理，将这类问题的发生率降低了39%，使得生成的视频动作更加流畅自然。

更令人惊喜的是，BlockVid在保持技术指标领先的同时，还在美学质量和画面清晰度方面表现优秀。在传统观念中，技术稳定性往往会以牺牲创造性为代价，就像追求安全驾驶可能会限制驾驶速度一样。但BlockVid打破了这种传统认知，在确保稳定性的同时还提升了视觉质量。

在更广泛的VBench评估基准上，BlockVid同样表现出色。这个基准更侧重于传统的视频质量指标，包括主体一致性、背景一致性、运动平滑性、动态程度、美学质量和图像质量等。即使在这个对长视频生成相对"不友好"的评估环境中，BlockVid仍然在大多数指标上超越了包括LCT、MoC等在内的强劲对手。

特别值得注意的是动态程度这个指标，BlockVid达到了0.7720的高分，显著超过其他方法。这说明BlockVid生成的视频不仅稳定，还充满了生动的动作和变化，避免了一些"保守"方法可能出现的画面僵硬问题。这就像是找到了在高速行驶和安全驾驶之间的完美平衡点。

八、技术细节的深度剖析

为了验证BlockVid各个组件的有效性，研究团队进行了详尽的消融实验，就像汽车工程师逐一测试每个零部件的性能一样。这些实验揭示了每项创新技术对整体性能的具体贡献。

在噪声调度策略的对比中，研究团队测试了四种不同的方法：朴素方法、线性调度、余弦调度和sigmoid调度。结果显示余弦调度在各项指标上都表现最佳，特别是在主体一致性方面比朴素方法提升了约10%。这就像是找到了最佳的烹饪火候控制方法，既不会把菜烧焦，也不会夹生。

在噪声打乱窗口大小的测试中，研究团队发现窗口大小为4帧时效果最佳。太小的窗口（如2帧）无法充分改善片段间的过渡，而太大的窗口可能会破坏片段内部的连贯性。这就像调节音响的音量一样，需要找到一个既不会太小听不清，也不会太大刺耳的完美平衡点。

KV缓存策略的比较实验同样令人印象深刻。传统的滚动KV缓存就像是一个只能记住最近几件事的健忘症患者，而动态稀疏KV缓存虽然有所改进，但仍然无法很好地处理语义相关性。BlockVid的语义稀疏KV缓存在所有指标上都显著优于这两种传统方法，特别是在注意力阈值设置为0.98时达到最佳效果。

块强制策略的验证实验证明了这一创新的价值。单独使用自强制训练虽然比朴素方法有所改进，但加入块强制策略后，所有指标都得到了进一步提升。这就像是在传统的体能训练基础上增加了技巧训练，整体效果得到了质的飞跃。

最有趣的发现是关于训练数据的实验结果。研究团队分别测试了仅使用第一阶段数据（LV-1.1M）、仅使用第二阶段数据（LV-Bench训练集）和两阶段数据结合的效果。结果显示，虽然第二阶段的长视频数据对提升长视频生成能力更为关键，但两阶段结合的效果是最好的。这说明AI系统就像学生一样，需要先打好基础（第一阶段），然后进行专业训练（第二阶段），才能达到最佳水平。

这些细致的实验不仅验证了BlockVid设计的合理性，还为未来的研究提供了宝贵的经验。每一个参数的选择都不是随意的，而是通过大量实验和理论分析得出的最优解。这种严谨的科学态度确保了BlockVid不仅在理论上先进，在实践中也具有可靠的性能表现。

九、技术限制与未来展望

尽管BlockVid在长视频生成领域取得了突破性进展，但就像任何先进技术一样，它也有自己的局限性和改进空间。研究团队对此保持着清醒的认识，就像一个优秀的工程师既为自己的作品自豪，也明确知道下一步的改进方向。

目前BlockVid主要专注于"单镜头"长视频生成，就像是拍摄一个固定场景下的连续剧集。虽然在这个领域已经表现出色，但在更复杂的"多镜头"视频制作方面还有待探索。现实中的电影或纪录片往往包含多个场景的切换、不同角度的镜头以及复杂的蒙太奇技法，这些都是BlockVid未来需要攻克的技术高峰。

另一个技术挑战是场景转换的处理。目前的系统在处理连续性场景时表现优异，但如何在保持故事连贯性的同时实现平滑的场景转换，仍然是一个开放性问题。这就像是如何在保持音乐旋律连贯的同时实现从抒情慢歌到激昂快歌的转换，需要更加精妙的技术设计。

在计算资源方面，BlockVid虽然比传统方法更高效，但生成一分钟的高质量视频仍然需要相当大的计算资源。研究团队目前使用32个H20 GPU进行训练，这对于普通研究机构来说仍然是一笔不小的投入。如何进一步优化计算效率，让这项技术能够在更广泛的硬件环境中运行，是未来发展的重要方向。

在数据方面，虽然LV-Bench已经是目前最全面的长视频评估基准，但1000个视频的规模相对于AI训练的需求来说仍然较小。未来可能需要构建更大规模、更多样化的数据集来进一步提升系统性能。这就像是建设一个更大的训练场，让AI能够接触到更多不同类型的场景和挑战。

更有趣的是，研究团队已经在考虑将三维感知能力融入到系统中。目前的视频生成主要基于二维图像的连续，但真实世界是三维的，具有深度、空间关系等复杂特征。如果能够让AI理解和生成具有真实三维感知的视频，将会大大提升视频的真实感和沉浸感。

在应用前景方面，BlockVid的潜力远不止于视频生成。它的核心技术可能会推动整个AI领域的发展，特别是在需要处理长序列数据的任务中。比如在自然语言处理中生成长篇小说、在音乐创作中生成完整的交响乐、在游戏开发中创建连贯的虚拟世界等，都可能受益于这些创新技术。

研究团队也在探索如何让用户更好地控制视频生成过程。目前用户主要通过文字描述来指导生成，但未来可能会支持更多样化的输入方式，如草图、语音指令、甚至是情感表达等。这将使得视频创作变得更加直观和个性化，让普通用户也能轻松创作出专业水准的视频内容。

归根结底，BlockVid代表了AI视频生成技术的一个重要里程碑，但它更像是打开了一扇通往更广阔技术领域的大门。随着技术的不断发展和完善，我们有理由相信，未来的AI将能够创作出更加精彩、更加真实的视频内容，为人类的创作和表达提供更强大的工具支持。这项技术不仅会改变视频制作行业，还可能深刻影响教育、娱乐、新闻传播等多个领域，为我们的数字生活带来全新的可能性。

Q&A

Q1：BlockVid能生成多长时间的视频？

A：BlockVid可以生成长达一分钟的连贯高质量视频，这在AI视频生成领域是重大突破。传统的AI系统通常只能生成几秒钟的短视频，而且质量往往随着时间增长而下降。BlockVid通过创新的分块扩散技术和智能记忆管理，成功突破了这个技术瓶颈。

Q2：BlockVid与传统AI视频生成方法相比有什么优势？

A：BlockVid的主要优势在于解决了长视频生成中的"累积误差"问题。传统方法在生成长视频时容易出现主角变脸、背景漂移、色彩失真等问题。BlockVid通过语义稀疏KV缓存、块强制训练和精妙的噪声控制，在主体一致性方面提升了22.2%，在画面清晰度方面提升了19.4%，大幅超越了现有技术。

Q3：普通用户什么时候能使用BlockVid技术？

A：目前BlockVid还处于研究阶段，主要在学术论文中展示。由于该技术需要大量计算资源（研究团队使用32个专业GPU进行训练），暂时还不是普通消费者可以直接使用的产品。不过，随着技术优化和硬件成本下降，未来可能会有基于这种技术的商业化产品出现，让普通用户也能享受到高质量的AI视频生成服务。