视频生成模型连文字都写不对，这件事比你想象的更严重

一条由Seedance2.5生成的10秒广告视频，画面里一个年轻人在工作室里调试一台机器，光影自然，动作流畅，镜头切换干净利落。如果你只是快速扫一眼，大概率会觉得这是一条相当不错的产品视频。

但如果你凑近看那张海报的标题，你会发现"Poster"被写成了"Posterer"。再往下看,广告语里的"algae"变成了"alge"，"vivid"变成了"vivitrid"，旁边还莫名其妙多了一个词"syan"。瓶身标签上，"CO2-neutral"这几个字要么重复，要么干脆拼错。这条视频在"剧情是否合理、动作是否自然、场景是否连贯"这类问题上几乎拿满了分，20项检查里满足了18项，综合得分0.90。可它的文字错误率高达0.552,意味着超过一半的文字内容是错的。

这就是VTR-Bench这篇论文想要揭开的一个问题：视频生成模型现在拍视频拍得越来越像电影了，但只要画面里出现文字,翻车的概率高得惊人。

这件事难在哪

先说一个可能颠覆你认知的事实：过去几年里，几乎所有主流的视频生成评测体系，都没有专门去衡量视频里的文字对不对。

VBench、EvalCrafter这些业内公认的权威基准，评估维度五花八门,画面美不美、动作顺不顺、物理规律对不对、镜头语言专不专业，唯独很少有人认真去数一数,海报上的字、路牌上的字、聊天界面里的字,到底写没写对。这不是因为研究者偷懒，而是因为文字这件事太难评测了：一段十秒视频里，文字可能出现在好几个不同的载体上，可能是手写的，可能被遮挡了一半，可能随着镜头移动而变模糊。想要自动化地判断"这段文字对不对"，比判断"这个人走路姿势自不自然"难得多。

已有的几个尝试，比如T2VTextBench，解决方案是靠人工一个个看、一个个打分。这在学术研究里勉强够用，但如果你想拿它去频繁地测试、迭代、对比十几个模型，人工评测的成本就彻底顶不住了。

于是VTR-Bench团队决定做一件系统性的事：造一个既能覆盖长文本、又能自动化评测、还能跟人类判断对得上的基准测试。

VTR-Bench到底测了什么

研究团队没有随便找几个场景就开测，而是先让人类专家划定了五个应用场景：广告、科学、用户界面、文化、日常生活。这五个场景几乎覆盖了日常生活里绝大多数"文字承载信息"的典型情境。

在这五个大类下面，又细分出25个具体子场景,比如广告类里有"实体产品""旅游推广""公益活动"，科学类里有"物理""化学""材料科学""生命科学"。整个基准最终包含300条精心构造的提示词，每条提示词都明确规定了：画面里应该出现什么文字、这些文字应该出现在什么载体上（比如一张海报、一个标签、一块显示屏）。

这里有个细节值得多说一句。为了保证这300条提示词既丰富又真的能被画出来，团队设计了一套相当繁琐的审核流程：先用GPT生成场景种子，再用人工筛选去重，然后用另一个模型把种子扩写成完整的提示词，接着用图像生成模型画出三张参考图，再让一个视觉语言模型检查这三张图是不是真的能把要求的文字和场景合理地放在一起。如果连续三次都通不过，就直接重新生成。最后还要过一道人工终审。

这套流程有点像你装修房子前先找设计师出效果图、反复确认细节是否可行，而不是直接让工人动手砌墙再推倒重来。如果跳过这道验证,直接让模型按文字稿去拍视频，很可能会出现要求塞进画面的文字内容和场景根本装不下、或者逻辑上说不通的情况,到时候模型拍不出来，你也分不清是模型能力不行，还是你一开始的要求就不合理。

经过这套流程筛选出的300条提示词，总共包含1202个文字块（也就是每一段独立要求出现的文字内容）。有意思的是，94.3%的提示词要求出现3到5个文字块，这意味着大多数场景都不是"画面里贴一张纸"那么简单，而是要求模型同时处理好几处文字，并且这些文字长短不一,短的可能只有1个词，长的能到275个词。

怎么自动化评测文字对不对

这是整篇论文技术含量最高的部分。研究团队把评测拆成了两条完全独立的流水线：一条专门测"场景和动作对不对"，另一条专门测"文字准不准"。

测场景动作的那条线用的是"链式提问"的方法。

链式提问（Chain of Query）：针对每条提示词，由GPT生成20个具体的是非问题，涵盖场景属性、动作是否符合要求、空间关系是否合理、该出现的人物物体有没有出现、前后画面是否一致这五个维度，再由视觉语言模型逐一回答"是"或"否"，满足的问题比例就是这条视频的"视频得分"。

测文字准不准的那条线，核心思路是先让视觉语言模型把视频里每个指定载体上最清晰的那一帧文字转录出来，然后拿这段转录文字跟标准答案做比对，用词错误率这个指标衡量差距。

词错误率（WER，Word Error Rate）：原本是语音识别领域常用的指标，衡量识别出来的文字和标准答案之间差了多少个词的增删改，数值越低说明越准确，0代表完全正确，1代表完全不对。

为了让这个指标在视频场景下更合理，研究团队还做了一个小调整：允许转录文字比标准答案多出5个词的容错空间，避免因为模型多写了几个标点或语气词就被判定为错误,这个细节不大，但体现出团队在设计评测规则时确实考虑到了实际使用场景里的合理误差。

这套自动化评测拿去跟真人进行了交叉验证。团队找了三位标注员，对100个视频、2000条场景判断题、404个文字块分别打分,结果显示自动评测和人工判断在场景动作题上的一致率达到92.15%，文字错误率上跟人工打分的皮尔逊相关系数高达0.9541，视频整体层面更是达到0.9842。这意味着这套自动化系统基本上可以放心拿来替代大规模人工评测，省下的时间和人力成本是巨大的。

这就好比你想检查一百份考卷的批改是否公正，与其把一百份卷子都重新人工批一遍，不如先挑几十份用机器批和人工批对照一下，只要两者高度一致，后面就可以放心让机器批剩下的。这里如果不做这层验证，那所有基于自动评测得出的模型排名都可能是不可信的空中楼阁。

11个模型实测,结果有多惨

团队测试了6个开源模型和5个商业模型，涵盖了目前能找到的主流选手：Wan2.2、HunyuanVideo-1.5、LTX-2.3、Lingbot系列、Minimax H3这些开源选手，以及Kling v3.0、HappyHorse1.1、ViduQ3、Wan3.0、Seedance2.5这些商业产品。

结果相当扎心：表现最好的Wan3.0，整体词错误率也有0.250,也就是说平均每四个词里就有一个是错的。开源模型里除了Minimax H3的0.447还算能看，其余几乎都挤在0.88到0.996之间，意味着绝大多数要求出现的文字,基本等于白写。

更值得玩味的是一个反直觉的发现：场景动作得分高，不代表文字就准。

Kling v3.0和Seedance2.5这两款商业模型的视频得分几乎一样，都在0.79左右，但词错误率却天差地别,Kling是0.979（几乎全错），Seedance2.5是0.641。这说明一个模型可以把人物动作、镜头调度、场景逻辑做得非常到位，同时文字部分彻底崩盘，这两件事在当前的模型能力上是相对独立的,这也正是VTR-Bench存在的意义，如果不把这两个维度拆开评测，很多模型的文字短板会被漂亮的画面表现悄悄掩盖。

分辨率和时长能不能救场

团队还做了一组对照实验，看看提高分辨率、缩短视频时长是不是能缓解文字错误的问题。

结果同样很有意思：对Minimax H3来说，提高分辨率确实能降低词错误率,毕竟分辨率越高，留给文字的像素就越多，字形细节更容易保留。但对LTX-2.3来说，无论怎么调分辨率和时长，词错误率始终死死卡在接近1的位置，几乎没有任何改善。

这说明一件事：分辨率只能放大一个模型本来就具备的文字渲染能力，而不能凭空创造这个能力。

这就好比给一个原本字迹工整的人换一支更粗的笔，他写出来的字会更清楚；但如果一个人原本写字就歪七扭八，换再粗的笔也只是把歪扭放大了而已。如果只靠堆分辨率解决文字问题，那些本质上不具备文字渲染能力的模型，依然无法真正变好。

文字到底卡在哪一步

论文还深挖了一层：文字出错，到底是"写了但认不出来"，还是"认得出来但内容错了"。

团队分析了13213个文字目标的转录结果，划分出三种状态：载体没找到、载体找到了但文字完全看不清、以及成功转录。结果显示，有23.31%的目标被判定为"完全看不清"，远高于"载体没找到"的9.34%。换句话说，模型大多数时候至少把一个文字载体（比如一张海报的轮廓）画出来了，真正难的是把上面的字写清楚。

而在能够被转录出来的文字里，团队又进一步分析了评测模型给出的诊断描述，发现高频出现的词是"small"（太小）、"blurry"（模糊）、"illegible"（难以辨认），这些指向的是字形细节不够。但同时"misspelled"（拼错）和"garbled"（乱码）也出现了几百次,这说明即便文字能被认出来，内容本身也经常是错的。

论文里举了几个特别生动的例子：Wan3.0在一段物理演示视频里，把公式里的β=8/3错写成了β=4/3，一个数字的差错，就足以让整段科学解释失去意义；Seedance2.5在一个烘焙日志场景里，要求写明具体的时间和温度记录，模型却只写了一句含糊的"更新了，还是太冷";HunyuanVideo-1.5更离谱，它把提示词里本该是给自己的生成指令,原封不动地当成店铺招牌的文字画了上去。

这几个案例指向两类完全不同的问题：一类是字根本看不清，一类是字看得清但内容是错的、是瞎编的、甚至是把系统指令误当成了画面内容。这两类问题需要完全不同的解决思路，这也正是论文反复强调要把"文字可读性"和"文字准确性"分开衡量的原因。

能不能让模型先想清楚再动笔

论文的下半部分提出了一个改进方案,一个名叫"关键帧引导的智能体框架"的推理时增强方法。

核心思路是：不要让模型直接从文字提示词一步到位生成整段视频，而是先让一个"导演智能体"规划出一张静态的首帧画面，反复检查这张画面里的文字是否清晰准确，确认没问题之后，再基于这张首帧和一份动作规划去生成视频。

导演智能体（Director agent）：一个负责协调图像生成、动作规划、视频生成这三个环节的控制模块，它会调用视觉语言模型去检查生成结果，并根据反馈决定是重新生成、局部编辑，还是继续往下走。

具体流程是这样的：导演智能体先写一个图像生成提示词，拿到几张候选首帧，再让视觉语言模型挨个检查这些候选图里文字准不准、清不清楚、载体对不对、场景合不合理。基于这些反馈,导演智能体可以选择重新生成、对某张候选图做局部编辑，或者直接选定一张作为最终首帧。确定首帧之后，再构建一份动作规划,指定人物怎么动、镜头怎么移，交给视频生成模型，同时保留原始的文字提示词。生成完视频之后，视觉语言模型再检查几帧画面里文字是否稳定、载体是否持续可见，根据反馈决定要不要重新调整动作规划。

这个思路很像你写一篇重要的演讲稿之前，先把PPT的每一页文字内容反复核对清楚，确认每个数字、每个专有名词都没错，然后才开始练习怎么讲、怎么走位。如果你跳过第一步,直接上台一边想内容一边组织语言,出错的概率会高得多。视频生成模型过去的做法基本等同于后者：一步到位同时处理画面、动作、文字，难怪文字部分经常顾不上。

效果怎么样？团队拿Minimax H3做了对照实验：直接生成的词错误率是0.4468，只给模型一张首帧图辅助生成（不走完整智能体流程）能降到0.333，而走完整套"导演智能体"流程后，词错误率进一步降到0.3015，相对直接生成降低了32.5%，视频得分也从0.7562提升到0.8315，而且这个提升在五个场景类别里全部成立,也就是说这不是某个特定场景的运气，而是一种普遍有效的改进。

更值得注意的是，完整的智能体流程比"只给一张首帧图"效果还要更好,这说明光是提供一张静态参考图并不够，持续的视觉反馈和动作规划调整才是真正起作用的部分。

Q&A

Q1：VTR-Bench是用来测试什么的？

A：VTR-Bench是一个专门评测视频生成模型能否准确渲染画面中文字的基准测试，涵盖广告、科学、用户界面、文化、日常生活五大场景共300条提示词，用词错误率和视频得分两个独立指标分别衡量文字准确性和场景动作的合理性。

Q2：现在的视频生成模型里哪个文字渲染能力最强？

A：在论文测试的11个模型里，Wan3.0的整体词错误率最低，为0.250，开源模型里Minimax H3表现相对突出，词错误率为0.447，但即便是表现最好的模型，平均每四个要求出现的词里仍有一个是错的。

Q3：为什么视频画面质量好，文字却经常出错？

A：因为场景动作合理性和文字渲染准确性是两种相对独立的能力，论文发现部分模型视频得分很高但词错误率同样很高，说明模型能把人物动作和镜头调度做得很自然，但处理文字内容时仍然容易出现拼写错误、乱码甚至内容编造。