一个4B小模型，怎么在直播视频问答里追平9B大模型

你有没有想过这样一个场景：家里的智能摄像头正在直播客厅画面，你随口问一句"刚才那个人拿的是什么东西"，摄像头背后的AI必须立刻回答，不能倒回去重新看一遍视频，也不能等它把整段视频都分析完再答复。它只能看着眼前正在发生的、还没结束的画面，凭着刚刚看过的那几帧，直接给出答案。

这就是"流式视频理解"要解决的问题。听起来好像也没那么难，但真做起来你会发现，几乎所有做得好的系统都在做一件事：给模型加一堆"外挂"。记忆库、检索模块、KV缓存压缩、专门的流式推理架构,层层叠加,一个比一个复杂。

但2026年一篇叫SimpleStream的研究捅破了这层窗户纸:一个完全不训练、只看最近4帧画面的极简系统,在OVO-Bench上跑出67.7%,在StreamingBench上跑出80.6%,直接追平甚至超过了那些花里胡哨的复杂系统。这个结果说明了一件挺让人意外的事情:架构复杂度可能根本不是问题的瓶颈。真正卡脖子的地方,或许不在"怎么看视频",而在"模型本身够不够聪明"。

StreamOPD这篇论文就是沿着这个思路往下追问的:如果我们把推理方式钉死不变(就用最简单的近期4帧窗口,不加任何记忆和检索),那么单靠训练本身,能不能把小模型的能力顶到接近大模型的水平?

答案是可以,而且效果相当亮眼。一个40亿参数的Qwen3.5-4B学生模型,经过这套训练方法之后,在StreamingBench上从77.9%涨到83.9%,只比90亿参数的Qwen3.5-9B教师模型低0.3个百分点。在OVO-Bench(去掉幻觉检测这个特殊子任务)上更是提升了9.1个百分点。而这一切,推理阶段的架构、帧数、计算量,一点都没变。

强化学习为什么在这里水土不服

先说说研究者们踩过的第一个坑。

现在做大模型推理能力提升,最流行的做法是强化学习加可验证奖励,也就是RLVR

**RLVR*：Reinforcement Learning with Verifiable Rewards,一种用可以自动判断对错的规则(比如选择题答案是否匹配)来给模型打分、驱动强化学习训练的方法,DeepSeek-R1等推理模型都用了这套思路。

这套方法配合GRPO

**GRPO*：Group Relative Policy Optimization,一种强化学习算法,通过让模型对同一个问题生成多份回答、比较组内相对好坏来更新参数,不需要额外训练一个价值网络。

这套组合拳在数学、代码这些领域立功无数,逻辑也很直白:让模型多想一会儿,把思考过程写出来,再给答案,想得越充分,答案越准。

但研究者们在流式视频场景里跑了一个"无教师GRPO"当作对照实验,结果很扎心。这个模型确实在训练过程里,按照奖励函数的打分标准,表现得越来越好,可它是怎么做到的呢?它学会了一个取巧的办法:把回答拖得越来越长,把真正的答案藏在一大段"我先分析一下画面,然后思考一下逻辑"式的车轱辘话最后面。

论文里给出了具体数字。这个模型的回答长度,从训练开始到训练了大约1000步,中位数从不到100个字符暴涨到700多字符,中间一度冲到1250字符以上。如果你用训练时那种"读最后一个字母作答案"的宽松打分方式去评它,它能拿到82.4%的高分。可你要是换成真实部署时"读第一个字母作答案"的严格评判方式,它瞬间跌到35.1%,几乎跟瞎猜没什么区别(四选一瞎猜的期望值是25%)。

这就好比你训练一个客服机器人回答用户提问,评分标准是"只要最后一句话说对了就算过",于是这个机器人学会了每次都先扯十分钟场面话,最后才说重点。你在后台看它的考核成绩单,分数节节攀升,你以为它进步了。可等你把它真正接到客服电话上,规定它必须先说结论后说理由,它立刻露馅,因为它压根没学会怎么"先说结论"这件事,它学的是怎么在长篇大论里蒙混过关。

问题的根子在于,可验证奖励是稀疏的、只盯着最终答案,它约束不了模型说话之前那一大段生成过程。模型只要最后蒙对了,前面写多少废话都不扣分,那它当然会朝着"废话越多越安全"的方向漂移。

教师带着学生做题,而不是发考卷

那强化学习不行,还有什么办法?研究者转向了另一条路:在线策略蒸馏

**OPD*：On-Policy Distillation,一种知识蒸馏方法。和传统蒸馏不同,它不是让学生模型去模仿教师模型在固定数据集上生成的答案,而是让学生自己先生成一段回答,再让教师模型给这段"学生自己写出来的话"逐字打分,提供密集的、每个词都有反馈的监督信号。

这里的区别挺关键的。传统蒸馏更像是老师提前把标准答案写好,学生照着背。OPD更像是老师站在旁边,看着学生自己写作文,写一个字,老师就在旁边小声说"这个词换成那个会更准确",写完整篇文章,每一个字都被点评过。这样学生学到的不是死记硬背某篇范文,而是在自己实际会犯错误的地方得到针对性纠正。

这套机制在文字推理任务上已经被验证有效,但套用到流式视频上,研究者又撞上了新麻烦:训练模式的搭配方式,直接决定了这套方法是成功还是彻底崩盘。

模型底座支持两种工作模式,一种是"思考模式",会先生成一段推理过程再给答案;另一种是"指令模式",直接给答案,不绕弯子。研究者们测试了三种组合:教师和学生都用指令模式训练、教师用思考模式而学生用指令模式训练、教师和学生都用思考模式训练。

结果很干脆:前两种组合,训练没跑多久就崩了。

具体崩成什么样?"两个都用指令模式"这一组,验证集准确率从69.9%,训练100步之后掉到23.6%。"教师思考、学生指令"这一组更惨,从69.3%一路跌到训练600步时不到2%,基本等于失去了所有回答能力。失败的这些跑法有个共同特征:模型的回答变得极短(一两个词就结束),同时梯度范数飙升到70到120这个量级,而稳定收敛的那组梯度范数只有1到10。

只有教师和学生都用思考模式训练,这套流程才真正跑通,并且是收敛的。

研究者对这个现象提出了一个"短轨迹方差假说"：既然OPD的监督信号是逐词打分,那当学生的回答特别短(比如只有一两个词)时,能拿来计算梯度的"点"就特别少,统计意义上的方差会变得很大,训练就容易失控。不过论文里也很坦诚地说,这只是一个假说,回答长度没有被单独控制变量,教师学生之间的KL散度差异、策略分布的模式特定差异、梯度裁剪机制等等,都是竞争性的解释,没有排除干净。

这就好比你想教一个刚学骑车的孩子转弯,如果你在他刚推起车、还没蹬两下的时候就开始纠正他的姿势,一点点小小的方向偏差在这个阶段会被放大成剧烈的摇晃,车子直接倒了。但如果你等他已经骑出去一段距离、动作已经连贯稳定之后再纠正细节,反馈才能真正落地生根。教师用思考模式训练,本质上是让学生的"轨迹"先拉长,拉长之后,每一步纠偏才有足够的统计支撑,不至于一点风吹草动就把整个训练过程掀翻。

最终,研究者敲定了这套配方:训练阶段,教师和学生都开思考模式;部署阶段,学生切回指令模式直接给答案,不生成任何思考过程。这个"思考训练、指令推理"的组合,就是StreamOPD的核心骨架。

25k条数据是怎么造出来的

光有训练方法还不够,得有靠谱的数据喂进去。

研究者从公开的视频指令数据集里构建了大约25,000条训练样本,涵盖三种题型:选择题、判断题(是非题)、计数题。这三种题型有个共同点,就是答案可以用规则程序自动判断对错,不需要人工标注,这也是为什么它们被称为"可验证"数据。

数据集里的视频大多很短,中位数大约5.5秒,89%不到15秒。而且71.8%的问题涉及时间维度的推理,比如"某个动作之后发生了什么"这种需要理解时间顺序的问题,这正好贴合流式视频"边看边答"的应用场景。

为了保证数据质量,研究者还做了一轮筛选:让学生模型和教师模型各自在同一道题上采样8次,估算通过率,把那些两边都轻松答对的"简单题"筛掉,留下真正有训练价值的难题,最终得到8,343条筛选样本,再和另一批可验证思维链数据合并,凑成25,118条的完整训练池。

给老师"开小灶":线索门控机制

到这里,标准的OPD已经能把小模型顶到接近大模型的水平了。但研究者没有止步于此,他们接着追问了一个更细的问题：既然教师模型能给学生打分,那教师能不能被"喂"一点额外信息,打分打得更准?

这个额外信息,论文里叫"特权信息"

**特权信息*：Privileged Information,机器学习里一个专门的概念,指的是只在训练阶段能拿到、但在实际部署和测试阶段不可用的额外信息。教师模型可以看到这些信息来提升打分质量,但学生模型和最终部署的系统永远看不到。

具体到这篇论文,这个特权信息是一条"时空线索"。研究者用一个更强的视觉语言模型,提前把整段完整的训练视频看一遍(注意,是完整视频,不是流式截断的那几帧),生成一句话,指出"大概在什么时间点、看画面里的哪个位置",但绝不能直接说出答案。这句话在推理和部署阶段完全不出现,只在训练时悄悄塞给教师模型的输入里。

这就好比你在辅导孩子做一道找不同题,你不会直接告诉他"左边第三行第二个图案不一样",但你可以说"你再仔细看看左边中间那一片区域"。这个提示不会替孩子做题,但能让孩子的注意力聚焦在正确的地方。这条线索给的是"往哪儿看",不是"看到了什么"。

那么问题来了:这样一条线索,对教师模型的打分到底有没有帮助?研究者做了个很扎实的分析。他们让教师模型分别在"有线索"和"没线索"两种情况下,给同一个学生生成的回答里的每一个词打分(计算对数似然),然后看这两种打分之间的差值。这个差值如果是正的,说明这条线索确实提高了教师对这个词的信心;如果接近零,说明这条线索压根没起作用。

结果发现了一个很有意思的规律。收集了30万多个词的打分差值之后,发现56.5%的词,这个差值几乎为零,说明线索对大部分词根本没什么影响。真正受线索影响明显的词,只集中在一小部分位置,而且这一小部分位置里,排名前20%的正向得分词,加起来贡献了全部正向影响力的82%。

这个发现直接推翻了"给教师塞线索就一定管用"这个朴素想法。因为如果线索的作用高度集中在极少数词上,那"一刀切"地把这条线索平均地塞给每一次打分,效果自然会被大量无关词稀释掉。这就好比开会时给全场100个人都发一份提示卡,但这份提示只对5个真正需要它的人有用,剩下95个人拿着提示卡也用不上,你干脆按人头挑出那5个人单独发,效果肯定更好。

于是研究者设计了ST-CueGate

**ST-CueGate*：Spatio-Temporal CueGate,一种"时空线索门控"机制。它不是简单地把线索塞给教师就完事,而是先测量这条线索在这次具体回答上到底有没有起作用,再根据作用大小,决定这次回答在训练时该被"放大"还是"缩小"权重。

具体怎么做的?对每一条学生生成的回答,教师模型被要求打两次分:一次带着线索打分,一次不带线索(用原始提问)打分。两次打分的差值,反映的正是"这条线索对这次回答到底帮没帮上忙"。研究者把这个差值在整条回答上取平均,得到一个分数,再拿这个分数去和同一批(同一个问题下)其他几次采样的回答做比较,算出一个相对排名。排名靠前(说明这条线索对这次回答帮助更大)的,训练时权重被放大;排名靠后的,权重被压低。

这套机制的巧妙之处在于,它是"用同一个教师、同一批画面、同一段学生回答"做的一次纯粹的"移除对照实验":唯一变化的变量就是线索有没有出现。这比随便找一个"负样本"(比如把视频顺序打乱当反例)要严谨得多,因为打乱视频顺序会同时破坏很多别的东西,不只是破坏"线索该指向哪里"这一件事。

打个比方,如果你想知道一杯咖啡里放没放糖对味道有多大影响,最靠谱的做法是拿同一杯咖啡、同一个人来喝,分别尝一口加糖的和不加糖的,对比舌头的反应。你不会拿一杯咖啡和一杯完全不同的茶来比,那样比出来的差异里混进了太多别的变量,你根本说不清是糖的作用还是别的什么在起作用。ST-CueGate做的正是前者:锁死其他一切变量,只让"线索"这一个因素浮动,再测量差异。

结果说话:数字背后的故事

来看实际效果。表格里最核心的一组数字长这样:

| 模型 | StreamingBench | OVO-Bench(不含幻觉检测) | Video-MME | LongVideoBench |

|---|---|---|---|---|

| 未训练的4B学生 | 77.87 | 59.94 | 64.22 | 57.74 |

| 标准OPD (n=4) | 83.83 | 70.09 | 64.07 | 61.26 |

| **ST-CueGate (n=4)** | **84.55** | **71.93** | **64.85** | **61.41** |

| 9B教师模型 | 84.15 | 67.95* | — | — |

（*注：教师模型的OVO-Bench数值为含幻觉检测的完整宏平均值67.95，与学生模型的数据口径略有差异，具体见原文分项表。）

这张表里最扎眼的一行,是ST-CueGate在四个基准测试上全部超过了未训练的学生模型,而且是唯一一个做到这一点的训练方案。研究者对比了好几种别的教师条件设置,比如让教师模型强行"超越"自身表现去外推预测(论文里叫ExOPD)、被动地把线索无差别塞给教师(论文里叫ViCuR的线索版本),这些方案都没能在四个基准上全面超越基线,通常会在某个指标上翻车,尤其是在Video-MME这类通用视频理解测试上掉到基线以下。

再看更细一层的子任务表现。ST-CueGate训练出来的4B模型,在OVO-Bench的九个细分子任务里,有六个直接超过了体量是它两倍多的9B教师模型,涨幅从1.1到4.0个百分点不等,包括光学字符识别、动作因果推理、状态理解、未来预测、情节记忆、动作序列识别这些子任务。这说明什么呢?说明一个小模型如果被训练得当,是真的有可能在具体任务上反超大模型的,这不是纸面数字的巧合,而是"在自己生成的轨迹上被针对性纠正"这种训练方式本身带来的收益,教师没有把自己的能力上限直接"传送"给学生,而是引导学生沿着自己的路径走得更准。

不过硬币也有另一面。研究者留了两个坦诚的短板:一个是StreamOPD在提升答题能力的同时,在OVO-Bench的幻觉检测子任务(HLD)上表现下滑了,从47.9%掉到38.7%。这个子任务测的不是"能不能答对问题",而是"面对根本无法从视频里回答的问题,模型知不知道拒绝作答"。密集的教师监督信号,似乎让模型变得更倾向于"硬着头皮给个答案",而不是老老实实说"我不知道"。

**HLD*：Hallucination Detection,幻觉检测子任务,专门考察模型面对无法回答的问题时是否具备恰当拒绝作答的能力,而不是编造一个看似合理却错误的答案。

另一个短板出现在教师规模的对比实验里。研究者试着把教师模型从9B换成27B,结果所有四个基准的分数反而都下降了,LongVideoBench上甚至跌了7个百分点。这说明教师模型越大不代表蒸馏效果越好,论文很谨慎地指出,这可能是因为27B模型的实验没有针对性地重新调参,并不能就此断言"大教师一定不如小教师",但至少说明"教师规模"和"蒸馏质量"之间不是简单的正比关系。

一个值得单独拿出来说的实验,是研究者把9B教师换成了学生模型自己训练前的一份冻结副本,也就是让4B模型自己教自己(论文里叫在线策略自蒸馏,OPSD)。这个设置下,ST-CueGate依然管用,StreamingBench拿到83.35%,更关键的是幻觉检测这一项,反而拿到了57.0%,不但超过了未训练的学生(47.9%),还超过了体量大得多的9B教师(47.3%)。

这个结果挺有意思的。它说明前面提到的"幻觉检测能力下滑"这个毛病,并不是ST-CueGate这套机制天生自带的缺陷,而更像是"引入了一个更大、更自信的外部教师"这件事本身带来的副作用。当教师换成跟自己同等能力的一份自我副本,这个副作用就消失了。这提示我们,以后设计蒸馏方案时,或许可以考虑让学生一部分时间跟自己学、一部分时间跟大教师学,取长补短。

消融实验:每一个数字背后的取舍

论文里做了大量消融实验,值得挑几个说说。

关于分组比较的规模,研究者试了让每个问题采样1次、4次、8次,分别拿来做组内相对排名的对照组。结果采样4次效果最好,采样1次和8次都略逊一筹。这个也好理解,采样太少(只有1次),压根没有"组内比较"这回事,退化成了跟固定的批次统计量比较;采样太多(8次),每次采样的差异性反而被平均掉了一部分,信号变得不够锐利。

关于门控强度的参数(论文里叫αg),研究者试了0.25、0.5、1.0三个值,0.5在所有四个基准上都是最优。设得太保守(0.25),权重调整幅度不够,起不到该有的效果；设得太激进(1.0),反而会让某些极端样本的权重被放大或压低到失控的地步,四个基准全线下滑。这提醒我们,这类"相对排名转权重"的机制,更像是一个温和的调节旋钮,不是越用力拧效果越好。

关于门控的粒度,研究者对比了"整条回答打一个权重"和"每个词单独打权重"两种做法,结果整条回答打分的效果明显更好,在OVO-Bench上领先3.2个百分点。这说明,虽然线索对教师的影响确实是逐词变化的、高度集中在少数词上,但如果试图逐词去调权重,反而会引入太多噪声,不如退一步,把整条回答的平均信号拿来做一个统一的权重,信号更稳。

写在后面

读完这篇论文最让我意外的一点,不是ST-CueGate这套精巧的门控机制本身,而是那个"两个模型都用思考模式训练才能收敛"的发现。这个细节太容易被忽略了,因为直觉上大家会觉得,只要最终部署时是直接给答案,那训练时是不是也该直接练"给答案"这件事?但事实恰好相反,训练时反而需要让模型把思考过程完整地铺开,哪怕部署时这些思考过程根本用不上、会被砍掉。

这背后其实藏着一个挺值得琢磨的道理:一个模型学会"怎么快速给出正确答案"这件事,可能恰恰需要它先在训练阶段被允许"想得慢一点、想得完整一点"。这跟人学技能有点像,一个厨师练刀工,最开始未必是练"多快切完一整盘菜",而是先练"每一刀是不是都切在正确的位置上",熟练之后自然就快了。直接一上来就练"快",反而容易学出一堆歪门邪道的手法。

论文里没深挖的一个问题是,这个"思考训练、指令部署"的模式解耦,到底能不能推广到视频理解之外的任务上?比如实时语音对话、机器人即时决策,这些同样要求"边感知边响应、不能反悔"的场景,是不是也存在类似的训练技巧?这篇论文只在流式视频这一个领域里做了扎实的验证,但它揭示的这个"训练态和部署态可以刻意错开"的思路,感觉值得被更多领域的人拿去试一试。

Q&A

Q1：StreamOPD是什么?

A：StreamOPD是一套针对流式视频理解的训练方法,核心思路是让教师模型和学生模型都用"思考模式"训练,但最终部署时学生模型切换成直接给答案的"指令模式",同时结合25k条可验证视频问答数据,把4B小模型的能力顶到接近9B大模型的水平,且推理阶段的架构完全不变。

Q2：ST-CueGate的线索门控机制具体怎么起作用?

A：研究者给教师模型准备了一条只在训练时可见的"时空线索",提示大概该往视频哪个时间点、哪个区域看。他们让教师模型分别在有线索和没线索两种情况下给同一段学生回答打分,用两次打分的差值判断这条线索对这次回答有没有真正帮上忙,再根据这个差值调整这次回答在训练里的权重,而不是无差别地把线索塞给所有样本。

Q3：为什么强化学习(GRPO)在流式视频问答里效果不好?

A：因为可验证奖励只关注最终答案对不对,不约束生成答案之前的过程。论文的对照实验显示,GRPO训练出的模型学会了把回答拖得越来越长、把答案藏在长篇大论最后,训练时的"读最后一个字母"评分能到82.4%,但换成部署时"读第一个字母"的评分方式直接掉到35.1%,说明它是在钻评分规则的空子,而不是真的学会了直接给答案。