字节跳动与香港中文大学联手：让AI通过"脑补视频"来思考和推理，这项研究到底解决了什么难题？

这项由字节跳动Seed团队与香港中文大学MMLab及IMIXR联合开展的研究，以预印本形式发布于2026年7月9日，论文编号为arXiv:2607.08763，有兴趣深入了解的读者可通过该编号在arXiv平台查阅完整论文。

我们每天都在用语言或图片来思考。你在脑子里规划一条路线时，通常会在头脑中"播放"一段连续的画面：从家门口出发，拐过那个路口，再经过那家面包店……这种"在脑海中放电影"的能力，正是人类理解时间顺序、预判事物发展的核心本领。然而，当前的人工智能系统在面对这类"动态思维"任务时，却往往力不从心。它们大多停留在看静态图片、读文字描述的阶段，缺乏真正"想象运动过程"的能力。

这支来自字节跳动与香港中文大学的研究团队注意到了这个缺口。他们提出了一个颇具想象力的思路：既然视频本身就是一帧帧画面按时间顺序串联起来的，那么让AI通过"生成视频"来完成推理，是否就像人类在脑中"放电影"来想清楚一件事一样？他们把这种推理方式称为"帧链推理"（Chain-of-Frame，CoF）——不再是用文字一步步推导答案，而是用连续的视频帧来呈现思考过程。

围绕这个核心思路，研究团队构建了一套完整的研究框架，取名为OpenCoF。这套框架包含三样东西：一个叫做OpenCoF-17K的专用训练数据集、一个基于这个数据集微调出来的视频生成模型Wan-CoF，以及对两种全新推理机制的深入探索。接下来，这篇文章将带你完整走进这项研究，看看他们究竟做了什么、发现了什么。

一、为什么现有的AI"推理"方式还不够用

要理解这项研究的价值，得先弄清楚一个问题：现在的AI是怎么"推理"的？

当前主流的AI推理方式叫做"思维链"（Chain-of-Thought），可以理解为让AI一步一步把解题过程用文字写出来，就像小学生做应用题时写"解题步骤"一样。这种方法在处理语言问题时表现不错，但它本质上是静态的——AI看的是固定的图片或文字，思考的结果也是文字。

遇到需要理解"变化过程"的问题时，这种方式就捉襟见肘了。比如，让AI判断一个球从斜面滚下来之后会走什么轨迹，或者让它规划一个机器人手臂如何移动才能把杯子放到桌子上——这些任务的核心不是找到一个静态答案，而是理解一个动态的、随时间展开的过程。

视频生成模型的出现带来了新的可能性。这类模型天然擅长处理时间维度的信息，能够生成在时间上连贯的帧序列。如果能让视频模型"边生成视频边思考"，那么推理过程就不再是抽象的文字步骤，而是可以直接"看到"的画面演化。研究团队将这种推理方式形式化为"帧链推理"（CoF）。

然而，现有的视频生成模型虽然在画质和流畅度上已经相当出色，但它们并不是为推理任务设计的。它们在训练时接触的大多是普通的视频内容——风景、人物、日常活动——缺乏专门用于训练推理能力的素材。就像一个只看过浪漫爱情片的演员，突然要演硬核侦探剧，技术到位但经验欠缺。研究团队发现，当前视频模型在推理密集型任务中存在三个突出问题：长时间的时序一致性不够好、物理和空间逻辑容易出错、画面的连贯性无法保证逻辑的正确性。说白了，画面可以很好看，但推理过程可能完全是胡说八道。

这就是这项研究要解决的核心问题：如何让视频生成模型真正学会"通过生成视频来推理"？

二、OpenCoF-17K：专门为推理设计的视频教材库

要教会一个AI新技能，最直接的方法就是给它提供大量对应的训练素材。研究团队构建的OpenCoF-17K数据集，可以理解为一套专门为"帧链推理"量身定制的视频教材。

整个数据集包含17,312段视频，横跨11个不同类型的推理任务。所有视频都被统一规格化：分辨率480p、帧率每秒15帧、时长81帧（约5.4秒）。每一条数据都由三部分组成：一张起始的参考图片、一段文字提示，以及一段展示推理过程的目标视频。这种设计使得训练时模型能够学习"从初始状态出发，按照指令，一步步生成推理过程视频"。

这11个任务涵盖了相当广泛的推理类型。在棋类游戏方面，数据集包含了1000段国际象棋残局视频，每段视频展示的是如何在下一步棋中完成将死——模型需要看懂棋盘局势、理解走棋规则、然后在视频中"演出"正确的走法。在数字逻辑方面，1000段数独求解视频要求模型逐步填写4×4数独格子，展示完整的推导过程。

几何推理方面，1162段二维几何视频展示了如何在几何图形中逐步绘制辅助线；1000段点连线视频则要求模型按照编号顺序，将散落的点依次连接成一个完整图形。这两类任务都考验模型对空间关系和顺序逻辑的理解。

空间变换方面包含三个任务：800段七巧板拼图视频展示如何将散乱的形状拼成目标图案；800段折叠魔方视频展示如何把一个平面展开图折叠成完整的立方体；800段三维多联立方体旋转视频则展示从不同角度观察复杂三维结构的过程。这三类任务都要求模型具备强大的空间想象能力。

物理推理方面，1000段物理运动视频模拟了球或滑块在不同摩擦力条件下沿斜面或弧形轨道运动的全过程，模型需要根据初始条件预测物体的运动轨迹。迷宫导航方面，1000段迷宫动画展示了角色如何在复杂的网格迷宫中规划路径、推动箱子到达目标位置。具身操作方面，1000段机器人操作视频来自真实的机器人实验数据，展示机器人手臂执行折叠、移动等操作任务。

最后，数据量最大的是VBVR（Very Big Video Reasoning）任务，共包含7750段视频，涵盖30个不同的科学推理子任务。这30个子任务中，29个各贡献250段视频，剩余1个贡献500段，内容涵盖流体力学、反射轨迹等复杂的科学现象模拟。

这11个任务的数据是通过四条不同的制作流水线收集和生成的，而非单一来源，这一点是OpenCoF-17K区别于此前类似工作的重要特征。

第一条流水线叫做"基于实例的渲染"：从现有的结构化数据资产（比如数独题库、象棋残局数据库）中抽取具体实例，然后用代码自动渲染成视频。这种方法保证了数据的正确性和一致性，因为每一步操作都是由确定性代码生成的，不存在人为错误。

第二条流水线叫做"专家引导渲染"：先借助人类专家、大型语言模型或图文生成模型来定义结构和标注，再基于这些定义用代码渲染视频。二维几何任务中的辅助线坐标是由人类专家标注的，点连线任务中的图案概念则是先让语言模型生成创意、再用图像生成模型绘制轮廓、最后用计算机视觉技术提取边缘并转换为动画。

第三条流水线叫做"程序化场景合成"：完全从零开始生成数据，用随机种子设置初始场景参数，再由物理引擎或图形渲染管线生成连续视频。七巧板、折叠魔方、三维旋转、物理运动都属于这一类，每次生成的具体形状、角度、摩擦系数等参数都是随机的，保证了数据的多样性。

第四条流水线叫做"外部视频再利用"：从现有的外部数据集中筛选出高质量的演示视频，经过分辨率、帧率、时长的标准化处理后纳入训练集。迷宫任务的数据来自VR-Bench数据集，VBVR任务的数据来自同名VBVR数据集，具身操作任务的数据来自BridgeData V2机器人数据集。

这四条流水线的组合，使得OpenCoF-17K在数据来源和任务类型上都具有相当的多样性，这种多样性正是研究团队刻意追求的——他们希望训练出来的模型不只会解特定类型的题，而是能真正泛化出通用的推理能力。

三、Wan-CoF：数据驱动的推理能力测试

拿到了OpenCoF-17K数据集之后，研究团队做的第一件事是一个"纯数据实验"：在不加任何特殊推理机制的前提下，直接用这批数据微调一个现有的视频生成模型，看看单靠数据本身能让推理能力提升多少。

他们选择的基础模型是阿里巴巴发布的Wan2.2-I2V-A14B，这是一个140亿参数规模的图生视频模型，在视频生成质量上表现出色。微调方式采用了LoRA（低秩适应），这是一种参数高效的微调技术——可以理解为不改动模型的核心"大脑"，只在外面加一层薄薄的"适配层"，既节省计算资源，又能让模型学到新任务的特点。LoRA微调的目标是DiT（扩散变换器）模块中的注意力投影层和全连接层，文本编码器和视觉编码器保持不动。这样训练出来的模型叫做Wan-CoF，在OpenCoF-17K上训练了2个完整轮次。

为了检验Wan-CoF的推理能力是否真的得到了提升，研究团队刻意选择了四个与训练数据完全独立的外部评测基准来进行测试，而非在自己的数据集上自娱自乐。这四个基准分别是MME-CoF、Gen-ViRe、VIPER和RULER-Bench，它们由不同团队独立构建，覆盖的推理类型也远超OpenCoF-17K的11个任务类别。在与训练分布不同的外部基准上测试，才能真正说明模型学到了可迁移的推理能力，而不是死记硬背了训练集的答案。

测试结果相当令人鼓舞。在MME-CoF基准上，Wan2.2-I2V-A14B基础模型的综合得分是1.00（满分4分），Wan-CoF将其提升到了1.30，提升幅度达30%。这个提升在各个子维度上都是全面的：指令对齐能力从0.22提升到0.31，时序一致性从0.96提升到1.29，视觉稳定性从1.52提升到1.99，内容保真度从0.68提升到1.00，焦点相关性从1.62提升到1.89。每一项都有明显进步，没有出现"按下葫芦浮起瓢"的情况。

在Gen-ViRe基准上，基础模型的平均分是0.304，Wan-CoF提升到了0.391，绝对提升约8.7个百分点。在各类推理子维度中，抽象推理提升10.7个百分点，算法与逻辑推理提升14.7个百分点，感知推理提升15.7个百分点，规划推理提升5.9个百分点。几乎所有类别都有正向提升，唯有时空推理几乎持平（下降0.1个百分点），属于评测噪声范围。

在VIPER基准上，基础模型的POC@1.0分数仅为3.3，Wan-CoF将其提升到7.5，翻了一倍多。时序推理方面从5.6提升到18.8，是提升幅度最大的类别；空间推理从0提升到5.3，物理推理从2.8提升到8.3。规划类别从5.3维持在5.3，符号推理类别两者均为0，这些基本属于该类任务对开源模型仍极具挑战的领域。

在RULER-Bench基准上，基础模型综合得分55.8，Wan-CoF提升到56.8，绝对提升约1分。从子类别看，游戏类任务提升最为显著（+6.9），人文类任务次之（某些子指标有明显提升），科学类任务基本持平。

研究团队还特别分析了哪些类型的提升与OpenCoF-17K的训练内容有逻辑对应关系。物理运动任务的训练对应到VIPER物理推理的提升（+5.5）；棋类、数独、迷宫等结构化网格任务对应到Gen-ViRe算法与逻辑推理的提升（+0.147）和RULER-Bench游戏类的提升（+6.9）；空间形状类任务对应到Gen-ViRe感知推理（+0.157）和VIPER空间推理（+5.3）。这种"训练内容与测试提升之间的对应关系"表明，模型学到的不只是特定任务的技巧，而是具有一定迁移性的推理能力。

横向与其他模型比较，Wan-CoF在开源模型阵营中脱颖而出：在MME-CoF上超过了HunyuanVideo-I2V和Wan2.2-TI2V-5B，接近Seedance-1.0-Pro；在Gen-ViRe上超过了Kling-v1和Seedance-1.0-Pro，向Veo-3.1靠拢；在VIPER上与开源的Hunyuan-1.5和闭源的Seedance-1.5相当。考虑到Wan-CoF只是在单个开源骨干模型上做了LoRA微调，这样的成绩相当可观。

四、视觉推理令牌与文本推理令牌：给AI装上"专属思考模块"

数据驱动的实验证明了一件事：好的训练数据确实能让视频模型学到推理能力。但这个结果同时也引出了一个更深层的问题：视频模型在推理时，这些"中间思考过程"究竟藏在哪里？

在现有的视频生成模型中，所有的计算都发生在"视觉潜码"（visual latents）里——你可以把它理解为模型内部对视频内容的压缩表示，就像大脑处理视觉信号时的神经激活模式。推理过程中的中间状态（比如"下一步棋该走哪里"、"箱子接下来往哪个方向移动"）都必须隐式地编码在这些以像素生成为目标设计的表示里。模型从来没有一个专门的"思考草稿本"来记录推理进程。

研究团队由此提出了一个问题：如果给模型专门配备一些用于"储存推理状态"的标记（token），是否能让它的帧链推理能力进一步增强？

他们设计了两种互补的推理令牌机制，分别作用于模型的不同层面，就像给一个人配备了两种不同类型的辅助工具：一种是"视觉便签"，专门记录画面中的具体细节；另一种是"语义便签"，专门记录任务的整体目标和规则。

视觉推理令牌（Visual Reasoning Tokens，简称vt）的工作方式是这样的：在DiT（扩散变换器）处理视频的每一个步骤中，模型需要处理一长串视觉令牌序列——每个令牌对应视频潜码空间中的一个位置（可以理解为视频的一个小块）。研究团队在这个序列的最前面插入了Nr个可学习的"视觉推理令牌"，这些令牌随机初始化，然后在训练过程中被优化。在每个DiT块的自注意力计算中，这些推理令牌既能"读取"所有视觉令牌的信息，视觉令牌也能"读取"推理令牌中积累的信息，形成双向的信息流动。经过多层处理后，推理令牌相当于汇聚了全局的视觉上下文，并将其分发回所有视觉令牌。在最终输出阶段，这些推理令牌被丢弃，只保留视觉令牌用于解码生成视频。用一个比喻来理解：如果把视频生成过程比作一场接力赛，视觉推理令牌就像是场边的教练，既在观察每位运动员的状态，又不断给他们传递战术信息，而在比赛结束后悄悄退场。

文本推理令牌（Textual Reasoning Tokens，简称tt）则作用于模型的文本条件端。DiT在生成视频时，除了接收视觉信号，还会通过交叉注意力机制接收来自文本编码器的语义信号（即对文字提示的理解）。研究团队在文本条件序列的最前面添加了Nt个可学习的"文本推理令牌"，使得在每个DiT块的交叉注意力中，每个视觉令牌都可以同时关注原始的文字描述令牌和这些新加入的推理令牌。与视觉推理令牌的双向交互不同，文本推理令牌只作为"被查询"的对象（key/value），不参与"查询"（query），也不会被视觉序列更新。这意味着它们携带的是固定不变的、与具体提示词无关的高层语义先验，对视频中每一个空间位置、每一个时间帧都一视同仁地发挥作用。还是用接力赛比喻：文本推理令牌更像是赛前制定的整体战略备忘录，每位运动员在任何时刻都可以翻阅参考，但内容不会因为某个运动员的具体动作而改变。

研究团队分别用vt和tt对Wan2.2-I2V-A14B进行LoRA微调（注意是分别微调，不是同时加入两者），设置Nr=Nt=16，训练5个轮次，得到Wan-CoFvt和Wan-CoFtt两个模型。之所以训练更多轮次，是因为这两个新加入的模块需要更多的梯度更新才能收敛。

在四个外部基准上的测试结果显示，Wan-CoFvt和Wan-CoFtt都在Wan-CoF的基础上进一步提升，但两者的优势方向并不相同，与它们各自的设计逻辑高度吻合。Wan-CoFvt在Gen-ViRe（0.441 vs 0.391）和RULER-Bench（59.6 vs 56.8）上领先，在Gen-ViRe的抽象推理、类比推理、规划推理子维度上，以及VIPER的规划子类别和MME-CoF的视觉稳定性维度上表现突出——这些都是需要在视觉序列内部维持全局、持久的推理状态的任务。Wan-CoFtt则在MME-CoF（1.35 vs 1.34）和VIPER（8.8 vs 8.2）上领先，在MME-CoF的指令对齐维度和VIPER的结构推理子类别上表现更好——这些任务受益于一个稳定的、与提示词无关的任务级语义先验。两者各有所长，互为补充，共同表明推理令牌的作用是真实存在的，而不是随机波动。

五、注意力分析：用显微镜观察AI在想什么

引入推理令牌之后，研究团队并不满足于仅仅看测试分数，他们还想弄清楚这些推理令牌究竟在模型内部如何发挥作用。为此，他们对120个MME-CoF案例进行推理时的注意力分布进行了分析，从四个维度考察推理令牌的行为模式。

第一个维度是模型深度。在DiT的40多个块从浅到深的排列中，视觉推理令牌和文本推理令牌受到的关注度并不均匀，而是呈现出明显的选择性。视觉推理令牌的选择性更强：在低噪声专家（负责精细化生成阶段）中，它在浅到中层的块中更受关注；在高噪声专家（负责粗略结构生成阶段）中，它的注意力延伸到更深的层，并在中后期出现更强的峰值。这与一个直觉相符：当任务更难（噪声更大、结构更不确定）时，视觉推理令牌需要更深层次的参与来帮助组织时空结构。文本推理令牌则更平滑地集中在前中期的层，然后随深度递减，与它作为提示级先验的设计角色一致。这说明两种推理令牌主要在特定的计算阶段发挥作用，而不是作为全程恒定的"背景噪声"存在。

第二个维度是去噪步骤。视频生成模型的工作方式是从一片噪声出发，通过多步去噪逐渐"雕刻"出清晰的视频。在这个由高噪到低噪的过程中，两种推理令牌都在早期去噪步骤中受到更多关注，尤其是在高噪声专家处理阶段——此时全局语义和运动结构还未成形，推理令牌的指导作用最为关键。随着去噪进行、图像越来越清晰，对推理令牌的关注逐渐下降。视觉推理令牌在高噪声阶段关注度急剧下降，表明它主要在视觉规划阶段发挥核心作用；文本推理令牌的曲线更平缓，但高噪声阶段始终高于低噪声阶段，说明任务级语义先验在结构未确定时最有价值。

第三个维度是空间位置。研究团队将单帧内不同位置对推理令牌的注意力可视化，发现两种推理令牌呈现出截然不同的空间分布模式。视觉推理令牌的注意力相对稀疏，在画面中形成明显的水平和垂直条带状分布，并在机械手和豆子附近出现更强的响应——这与Wan模型使用的三维旋转位置编码（3D RoPE）的轴对齐特性有关，表明视觉推理令牌主要捕捉局部的、位置相关的视觉线索。文本推理令牌的注意力则更加弥散，覆盖了更广泛的任务相关区域，包括机械手、桌面和目标物体，体现出它作为高层语义先验的全局性作用，而非局部的空间追踪器。

第四个维度是时间位置。在多帧视频中，不同时刻的帧对推理令牌的关注程度也有所不同。视觉推理令牌在序列的起始帧和末尾帧上注意力更强，说明它在模型锚定初始状态和解析最终运动结果时发挥的作用更大——恰好对应推理过程中的"起点"和"终点"两个关键时刻。文本推理令牌在最早的帧上稍显低调，但在后续帧中保持稳定的关注度，与它作为贯穿整个推理过程的语义约束的角色一致。两者呈现出互补的时间分工：视觉推理令牌主要关心"边界状态"（初始和最终），文本推理令牌提供"过程中的稳定语义锚点"。

六、对比其他模型与前人工作的位置

研究团队对这套框架在整个领域内的定位也有清晰的认识。此前已有一些团队探索了用视频生成来推理的方向，但主要存在两个局限：要么专注于特定领域（比如VR-Bench只研究迷宫求解，Thinking in Frames关注迷宫和七巧板），要么训练和评测都在自己的数据集上进行，无法证明能力能否迁移到外部独立的评测基准上。OpenCoF的做法是：用多种来源、多种类型的数据训练，然后在完全独立的外部基准上测试，这样得到的结论更有说服力。

闭源模型方面，Wan-CoF与Seedance-1.0-Pro在MME-CoF上已经相当接近，在Gen-ViRe上也超越了Kling-v1和Seedance-1.0-Pro。Sora-2和Veo-3系列仍处于明显领先位置，但考虑到它们背后的训练资源规模，这个差距在预期之内。研究团队的关注点不是追平闭源前沿模型，而是在开源可复现的条件下，系统性地探索提升帧链推理能力的方法。

在推理令牌数量的消融实验中，研究团队还测试了将Nr=Nt从16增加到32时的效果。结果发现，增加令牌数量并不能带来一致的性能提升：在4个基准上，n=16在3个上优于n=32，n=32只在1个基准上领先。这说明推理令牌并不是"数量越多越好"的通用容量扩充，而是有其内在的信息组织逻辑，简单堆叠数量并不能带来相应的推理能力提升。研究团队因此保持n=16作为默认设置。

说到底，这项研究讲的是一件很直接的事：让AI学会用"脑补视频"来思考。他们做了三件相互衔接的事——造了一套专门的教材（OpenCoF-17K），用这套教材训练出了更能推理的视频模型（Wan-CoF），然后还给模型装上了专属的"思考备忘录"（视觉推理令牌和文本推理令牌），并仔细研究了这些备忘录在模型内部是如何被使用的。每一步都有独立的实验支撑，每一步的结论都指向下一步的探索。

这套框架目前还有一个明确的局限：视觉推理令牌和文本推理令牌是分开研究的，如何有效地将两者结合使用，尚待后续工作探索。这并非刻意回避，而是研究团队坦诚地将其列为未来工作。对于普通读者而言，这项研究的意义或许在于：它表明AI在理解动态世界、进行时序推理方面正在稳步前进，而推动这种进步的并不是什么神秘的大资源，而是有针对性的数据和有逻辑的模型设计。想进一步了解这项研究完整细节的读者，可以通过arXiv编号2607.08763查阅原论文。

Q&A

Q1：OpenCoF-17K数据集和普通视频数据集有什么区别？

A：普通视频数据集收录的大多是日常生活、风景、娱乐等通用内容，模型从中学到的是"如何生成好看的视频"。OpenCoF-17K专门为推理任务设计，每段视频都展示一个完整的推理过程，比如一步步解开数独、折叠立方体或模拟物体运动轨迹，模型从中学到的是"如何通过视频帧的演化来表达和完成推理"。两者的核心差异在于目标：前者追求视觉质量，后者追求逻辑正确性。

Q2：视觉推理令牌和文本推理令牌分别适合什么类型的任务？

A：两者的擅长方向有所不同。视觉推理令牌更适合需要在视觉序列内部维持全局推理状态的任务，比如规划类、抽象推理类和视觉稳定性要求高的任务。文本推理令牌更适合受益于稳定任务级语义先验的任务，比如指令对齐和结构推理类任务。简单说，前者更擅长"记住画面里发生了什么"，后者更擅长"记住整体任务要求是什么"。

Q3：帧链推理和普通的思维链推理有什么本质区别？

A：普通思维链推理是用文字一步步写出解题过程，本质上是语言符号的序列。帧链推理是用连续的视频帧来展示推理过程，每一帧都是推理进展的直接视觉呈现，中间步骤不是抽象的语言描述，而是可以直接"看到"的画面状态变化。对于需要理解空间关系、物理运动或时序变化的任务，帧链推理天然更具表达能力，因为这类信息本身就是视觉性的，用视频展示比用文字描述更直接、更精确。