新加坡国立大学找到了视频AI的"省钱秘诀"：让自动生成视频的模型瘦身近一半，速度还快了三成

这项由新加坡国立大学与香港理工大学联合开展的研究，于2026年5月以预印本形式发布，论文编号为arXiv:2605.21072，感兴趣的读者可以通过这个编号找到完整论文。

如果你曾经见过那种能实时生成游戏画面、或者跟着你的操作即时产生视频场景的AI系统，你就能理解这项研究在解决什么问题。这类"边生成边播放"的视频AI，学术上叫做**自回归视频扩散模型**（简称ARVD），可以把它理解成一个"接龙游戏玩家"——每生成一帧画面，就把这帧当作下一帧的参考，一帧接着一帧，像接龙一样把整段视频拼出来。这种方式非常适合实时互动场景，比如AI游戏世界、实时互动视频通话，甚至未来的"AI导演"。

然而，这样的系统有一个让工程师头疼的问题：它运行起来太贵、太慢、太占资源。要让它在普通的计算设备上跑起来，需要想办法给模型"减肥"。研究团队选择的减肥方案叫做**量化**——也就是把模型里的数字从高精度格式压缩成低精度格式，好比把一张超高清照片压缩成较小的文件，占用空间更少，传输更快，但需要尽量保证图片质量不损失太多。

问题在于，现有的量化方法都是为另一类视频AI设计的——那类AI是一次性把整段视频都生成出来，而不是逐帧接龙。把这些现成方法直接套用到接龙式AI上，效果很差。研究团队于是决定从头研究：接龙式AI在量化时，到底会出现哪些特有的问题？他们发现了两个关键的"麻烦点"，并为此设计了一套全新的解决方案，命名为**Q-ARVD**。最终，经过这套方案处理的模型，体积缩小到原来的一半左右，运行速度也提升了约三成，而视频质量几乎没有可感知的损失。

一、接龙游戏里的"蝴蝶效应"：为什么第一帧特别重要

要理解第一个麻烦，先考虑这样一个场景：你和朋友玩"传话游戏"，第一个人说了一句话，一个人传一个人，传到最后。如果第一个人说的话就已经有点模糊，那传到最后可能面目全非；反过来，如果前几棒说得很清晰，后面的人即使偶尔有些小偏差，整体也不会崩掉。

接龙式视频AI的工作原理与传话游戏如出一辙。每生成一帧，都要参考前面那帧；前面那帧有误差，后面那帧的误差会在这个基础上继续叠加。量化操作会给每一帧的生成引入一些"模糊"，这些模糊就像传话游戏里的偏差，会一路累积下去。

研究团队做了一个实验来量化这种累积效应。他们把视频分成若干"块"（每块包含几帧），然后逐一测试：如果只对第一块做量化压缩，对后面的视频质量影响有多大？如果只对第二块做量化，影响又有多大？以此类推。结果画出来的曲线非常清晰——从第一块到最后一块，量化对最终视频质量的影响程度急剧下滑，呈现出一种近似指数衰减的形态。以"自回归强迫"这个模型为例，第一块的敏感度得分高达0.70，而最后一块的得分不到0.01。这意味着，第一帧的精度对整体视频质量的影响，是最后一帧的七十倍以上。

这个发现揭示了一个严重的问题：现有的量化方法在校准模型时，默认每一帧同等重要，分配同样的训练资源。但实际上，早期帧的精度至关重要，而晚期帧的精度几乎无关紧要。这就好比在复习考试时，把时间平均分配给每道题——但其实有些题占分很高，有些题只占一两分。

Q-ARVD的解决思路是：给每一帧（或每一块）分配一个"重要性权重"，越靠前的帧权重越高，越靠后的帧权重越低。这个权重不是拍脑袋决定的，而是通过真实测量每帧量化后对整体视频质量的影响来计算得出的。在模型压缩的训练过程中，这个权重会被加入到损失函数里——损失函数就是衡量"模型压缩后表现有多差"的指标，权重高的帧出错了，惩罚就更重，模型就会更努力地保住这些帧的精度。

研究团队还把这个数据驱动的权重方案与两种对比方案做了比较。第一种对比是"均匀权重"，也就是不做任何区分；第二种是"启发式指数衰减"，即人工设定一个从前到后递减的权重公式，比如用2的负次方来计算。结果显示，数据驱动方案比均匀权重明显更好，也比人工设定的指数衰减略胜一筹。更有趣的是，研究团队还测试了"反向权重"——把晚期帧的权重调高、早期帧的权重调低。这种做法的效果甚至比均匀权重还差，因为它错误地强调了不重要的帧，从而浪费了精度资源。这个对照实验很好地验证了研究团队的核心判断：帧的位置与其量化敏感度之间存在真实的、可测量的关系。

二、模型里的"异常工人"：为什么有些参数特别难压缩

量化的基本原理，可以用一个粮仓的例子来理解。粮仓要称量所有粮食，但秤的量程是固定的（比如最多称100斤）。如果仓库里大多数袋子都是20到30斤，这个秤精确度很高；但如果有一袋粮食重达90斤，为了让它也能上秤，整个秤的刻度就要被拉大，结果那些20斤的袋子读数就变得很粗糙，误差增大。

模型量化里也有同样的困境。模型里有大量"权重"（可以理解为调节各个参数的旋钮），这些权重需要从高精度数字压缩成低精度数字。压缩时要确定一个"缩放比例"，而这个比例是由权重里的最大值决定的。如果大多数权重数值都在正常范围内，但有少数权重特别大（学术上称为"异常通道"），那这个缩放比例就会被这些异常值撑大，导致正常权重的压缩精度大打折扣。

研究团队深入检查了接龙式视频AI的权重分布，发现异常通道的问题相当突出。在某些层里，大约2.1%到8.3%的输入通道的数值明显高于其余通道，就像一个仓库里混入了几袋特别重的粮食。

更棘手的是，这些异常通道的分布规律因层而异，变化相当大，研究团队称之为"高度异质性"。有些类型的层，比如模型里的"前馈神经网络第二层"（ffn.2），几乎每一层都有明显的异常通道；而另一些类型的层，比如"交叉注意力机制的值投影层"（cross_attn.v），分布则相当均匀，几乎没有异常值。不同深度的层（靠近模型输入端还是输出端）之间，异常通道的比例也大相径庭，有时从不到20%跳到接近100%。

这种异质性带来了一个棘手的问题：不能用同一套固定方案来处理所有层。如果对所有层都强行隔离异常通道，那些本来分布均匀的层会被无端复杂化；如果对所有层都不处理，那些有严重异常通道的层就会拖累整体精度。

Q-ARVD的解决方案分为两步，配合使用，像一套精密的流水线。

第一步是自动检测。对于每一层，先计算每个输入通道的"L2范数"（可以理解为该通道上权重数值的综合强度），然后看这些强度值的分布。研究团队采用了一种叫做"修正Z分数"的统计方法来判断哪些通道是异常的。具体来说，先找出所有通道强度的中位数（也就是排在最中间的那个值），再计算每个通道与中位数的偏差。如果某个通道的强度远超中位数，并且偏差超过了一个设定的阈值，就把它标记为异常通道。

不过研究团队发现，对于那些分布特别均匀的层，即使通道之间的差别很小，这个方法有时也会把正常通道误判为异常。为了避免这种"误报"，他们额外加了一个最低幅度限制：一个通道除了要满足统计偏差条件，其绝对强度还必须达到中位数的1.2倍以上，才会被判定为异常。两个条件都满足，才算是真正的异常通道。这样，均匀分布的层自然就不会检测出异常通道，不需要做任何特殊处理。

第二步是双轨量化。一旦某一层被检测出有异常通道，就对这一层的权重做"拆分处理"：把异常通道单独拿出来，用一个独立的量化器压缩；把正常通道也单独集中在一起，用另一个独立的量化器压缩。这样，正常通道在压缩时就不再受异常通道的干扰，缩放比例可以贴近正常通道自身的数值范围，精度损失大幅降低。研究团队从理论上推导出，这种隔离处理能减小正常通道的量化误差，而额外的计算开销几乎可以忽略不计——因为通道的分类和排列工作可以在模型部署前离线完成，在实际运行时只需要按预先确定的顺序处理数据，几乎不增加计算时间。

三、如何评判压缩后的视频好不好：两套测量标准的较量

在验证Q-ARVD效果之前，研究团队面临一个必须先解决的问题：用什么标准来衡量量化后的视频质量？

目前视频生成领域最常用的评测工具叫做VBench，它提供了一套参考自由的评分指标，包括主体一致性、背景一致性、运动流畅度、美学质量和图像质量等五个维度。但研究团队在实验中发现，这套指标对量化带来的质量变化不够敏感。举个具体的例子：在自回归强迫模型的W8A8配置下（一种中等压缩程度），所有六种不同方法的平均VBench分数都集中在85.28到85.33这个极小的区间内，几乎无法区分好坏。更奇怪的是，某些情况下压缩程度更大的W4A6配置，反而比W8A8的分数更高，甚至超过了未压缩的BF16模型——这显然不符合"压缩程度越大、质量越差"的基本逻辑，说明这套指标本身有问题。

研究团队因此主张使用"参考型指标"来评测量化效果，也就是把量化后的模型生成的视频，直接与未量化的原始模型生成的视频做比较，测量两者之间的差距。他们采用了FVD-FP（视频感知距离）和LPIPS-FP（图像感知相似度）这两个指标，数值越小说明量化后的视频与原始视频越相似。

为了系统地证明这两套指标在可靠性上的差异，研究团队设计了一个"可分辨性评分"（DS），从两个维度衡量：一是"变异系数"，衡量某个指标对不同方法的区分灵敏度；二是"比特宽度顺序一致性"，衡量某个指标是否符合"压缩越少、质量越高"这个应有的基本排序规律。结果显示，FVD-FP的可分辨性评分是0.587，LPIPS-FP是0.169，而VBench的五个子指标的评分则集中在0到0.02的极低区间，说明VBench在量化评测场景下几乎没有区分能力。这个发现对整个视频生成量化研究领域都有重要的方法论意义，提示研究者在评测量化效果时需要谨慎选择指标。

四、实验结果：Q-ARVD在各种压缩配置下的表现

研究团队在两个当前最先进的开源自回归视频生成模型上做了全面测试，一个叫"自回归强迫"（self-forcing），另一个叫"因果强迫"（causal-forcing）。测试了三种不同的压缩级别：W8A8（权重和激活值都用8位整数表示，压缩适中）、W4A8（权重用4位整数，压缩较大）、W4A6（权重4位、激活值6位，压缩最大、难度最高）。对比方案包括五种来自不同研究机构的现有方法：MinMax（最简单的基础量化）、AdaRound（经典重建方法）、SmoothQuant（专门处理激活值异常的方法）、PTQ4DiT（专为扩散变换器设计的方法）和SVDQuant（通过低秩分支吸收异常值的方法）。

在因果强迫模型上，W4A8配置下，Q-ARVD的FVD-FP得分为106.04，而五种基准方法中最好的SVDQuant得分为135.62，Q-ARVD比最优基准低了约22%。W8A8配置下，Q-ARVD得分61.67，最优基准PTQ4DiT为63.21，优势相对较小但仍然领先。W4A6这个最难的配置下，Q-ARVD得分140.38，而最优基准SVDQuant得分210.28，Q-ARVD的优势最为显著，差距约达33%。

在自回归强迫模型上，趋势相似。W4A8配置下，Q-ARVD的FVD-FP为116.26，最优基准PTQ4DiT为124.20；W8A8下为64.51，最优基准为68.24；W4A6下为146.01，最优基准为174.17。在LPIPS-FP这个指标上，Q-ARVD同样在各配置下都是最优。

一个值得关注的规律是：压缩程度越大，Q-ARVD的优势越突出。这与研究团队的预期完全吻合——在高压缩场景下，异常通道对精度的破坏作用更严重，Q-ARVD的双轨量化方案在这种情况下能发挥更大的保护效果。

在实际部署层面，研究团队用Triton（一种高性能神经网络计算框架）实现了W8A8版本的量化内核，在NVIDIA A6000 GPU上测试，模型体积从2.64GB降至1.34GB，缩减至原来的51%，接近原来的一半；推理延迟从18.02秒降至13.85秒，速度提升约30%。这两个数字对实际部署都很有意义：更小的模型可以在内存更少的设备上运行，更快的速度意味着更接近实时交互的体验。

五、消融实验：两个模块各自贡献了多少

为了搞清楚"帧权重"和"双轨量化"这两个核心模块各自贡献了多少，研究团队做了拆解实验，逐一去掉其中一个模块，看看效果如何变化。

在自回归强迫模型的W4A8配置下，两个模块都去掉（即退化为基础方法AdaRound），FVD-FP为156.70；只加入帧权重，降至147.16；只加入双轨量化，降至121.83；两个模块都加入，进一步降至116.26。在W8A8配置下，两个模块都去掉时FVD-FP为68.24；只加帧权重降至65.39；只加双轨量化降至67.48；两个都加降至64.51。

这个对比揭示了一个有意思的分工规律。在压缩程度较小的W8A8下，帧权重的贡献（从68.24降到65.39）大于双轨量化的贡献（从68.24降到67.48）；而在压缩程度较大的W4A8下，双轨量化的贡献（从156.70降到121.83）远大于帧权重的贡献（从156.70降到147.16）。这个规律完全合理：压缩程度越大，异常通道造成的精度损失越严重，双轨量化的保护效果也就越重要；而压缩程度较小时，异常通道问题不那么突出，帧的位置敏感差异就成了更需要优化的方向。

研究团队还专门测试了双轨量化中"统计阈值"的稳健性。阈值决定了多高的偏差才算异常，他们把这个参数从2.5调到4.5，测试在各种设定下模型的表现。结果显示，FVD-FP的变化范围仅在114.39到117.41之间浮动，LPIPS-FP也只在0.460到0.470之间波动，说明这套自动检测方法对参数选择的依赖程度较低，不需要精细调校就能稳定工作。类似地，关于防误报的"最低幅度比例"参数α，在1.10到1.25范围内的测试结果也表现出良好的稳健性，FVD-FP在此范围内均保持在可接受水平。

说到底，Q-ARVD干了一件看似简单却很有价值的事：它把接龙式视频AI在压缩时面临的两个独特难题找出来，然后各自设计了一套对症的解决方案。第一个方案让模型在压缩校准时"更聪明地分配注意力"，把有限的精度资源优先投给那些影响整体质量最大的早期帧；第二个方案让模型在面对"异常权重"时"分而治之"，避免少数几个异常值拉垮整批正常权重的精度。两个方案合力，让压缩后的视频质量比现有方法有了可观的提升，特别是在压缩程度较高的场景下效果尤为明显。

对于普通用户来说，这项研究的意义在于：未来你在手机或其他消费级设备上体验实时AI视频生成时，背后的模型很可能就需要这类技术来"减肥"才能跑起来。研究团队也坦承，目前的工作还有一些可以扩展的方向——比如帧敏感度的差异除了用在量化校准上，还可以延伸到混合精度量化（对不同帧使用不同精度）等更复杂的策略；再比如，目前使用的Triton内核还不是极致优化的版本，若改用手写CUDA内核，速度还有进一步提升的空间。

如果你对这套量化方案的技术细节感兴趣，可以通过论文编号arXiv:2605.21072找到完整论文，研究团队也公开了对应的代码。

Q&A

Q1：Q-ARVD是什么，解决了什么问题？

A：Q-ARVD是新加坡国立大学研究团队为"接龙式视频AI"（自回归视频扩散模型）专门设计的模型压缩方案。它解决了把这类AI"瘦身"时遇到的两个独特问题：一是早期帧的误差会一路累积影响后续帧；二是模型权重里有少数"异常通道"会干扰整体压缩精度。最终实现了模型体积缩减近一半、推理速度提升约30%。

Q2：量化后的视频和原版视频差别大吗？

A：根据论文实验结果，在适中压缩（W8A8）配置下，Q-ARVD量化后的视频与原始未压缩视频在感知指标上非常接近，视觉上很难察觉差异。在压缩程度更大的W4A6配置下，视频质量有一定下降，但仍明显优于其他现有量化方法。

Q3：自回归视频扩散模型和普通视频生成AI有什么不同？

A：普通视频生成AI一次性生成整段视频，就像拍完整部电影再播放；自回归视频扩散模型则是逐帧生成，每一帧都参考前一帧，就像接龙游戏，特别适合需要实时互动的场景，比如AI游戏世界或即时视频对话。但这种逐帧方式导致前期帧的误差会累积传递，量化处理难度也更高。