当AI导演学会拍30秒的电影：WanPE如何重新定义视频提示词

你有没有想过一个问题：当你用文字让AI生成一段视频时，你输入的那几句话，到底该扮演什么角色？

三年前的答案很简单。你输入的文字，只是一个模糊的方向指引，剩下的全靠AI自己发挥。那时候的视频生成模型能力有限，能生成三五秒、内容还算连贯的片段就已经很了不起了，文字提示词的作用更像是给AI一个大致的题目，具体怎么画完全看AI的心情。

但现在情况变了。Wan3.0、Seedance 2.5这样的新一代视频生成系统，已经能生成长达30秒、有清晰运镜、有真实光影、有连贯叙事的电影级视频了。这时候一个尴尬的问题浮现出来：你的文字提示词，还跟得上AI的能力吗？

如果你还是简单地说一句"一个骑士打恶龙，很酷炫"，AI生成系统拿到这句话后，其实是有劲使不出的。它明明有能力设计六个镜头、安排配乐从紧张到舒缓的转变、控制光线从正午到黄昏的变化,但你给的信息量根本撑不起这些细节。这就是阿里通义万相团队（Wan Team）联合南京大学、中科大、复旦、清华等机构的研究者们，在这篇论文里想解决的核心问题。他们做了一个叫WanPE的系统，参数量高达397B（也就是3970亿），专门用来把用户简单的一句话，改写成一份真正的"电影剧本"。

一句话憋出六个镜头的电影：问题到底难在哪

先说个直观的例子。论文里提到一个场景：用户输入"3D风格化写实，一个骑士挑战巨龙，巨龙挡住他的攻击，把他当挠痒痒的工具，最后把他甩下山"，一共几十个字。

如果用传统的"提示词扩写"思路来处理，得到的结果大概是把这几十个字扩展成四百多字的详细描述，加了些形容词，加了些动作细节，仅此而已。这套在Wan2.2这样的老一代模型上够用了,因为老模型本来就只能生成几秒钟的东西，提示词写得再细也没地方施展。

但放到能生成30秒视频的新一代模型面前，这套扩写方法就露了怯。研究者做了个实验，用t-SNE（一种把高维数据压缩到二维平面、方便肉眼观察数据分布的可视化技术）把不同来源的文本做了个对比图，结果发现，用传统"扩写"方法生成的提示词，和真实电影视频对应的文本描述，落在了完全不同的两个区域，中间隔着明显的空隙。

这个空隙意味着什么？意味着扩写出来的提示词，本质上是AI凭空想象的产物,它长什么样、包含什么信息，完全取决于扩写这道工序自己的套路，而不是真实世界里专业摄制组是怎么组织一个镜头的。而生成视频的那个大模型，恰恰是在海量真实视频和它们的配套描述上训练出来的。你拿一份"风格不对路"的剧本去指挥一个训练有素的摄制组，效果自然要打折扣。

这里就引出了论文里反复强调的一个核心矛盾:提示词增强器（负责把用户的话改写成详细指令的那个模块）产生的文本分布，和视频生成器（负责把文本变成画面的那个模块）在训练时见过的文本分布,这两者必须对齐,否则就是鸡同鸭讲。

这就好比你要给一个米其林大厨下单。如果你直接说"我要好吃的"，厨师无从下手，这是提示词太简单的问题。但如果你找了个业余美食博主帮你把需求"翻译"成菜单语言,博主凭自己的理解写了一份"番茄炒蛋要用九分熟的意大利面配"这种听起来专业、实则和大厨的菜谱体系完全不搭边的指令,大厨照着做，出来的菜大概率也是不伦不类。如果不解决这个"翻译对不上号"的问题，无论提示词写得多详细，都是在往错误的方向使劲。

倒过来想的解决方案：先看电影，再猜剧本

研究者的解法挺反直觉的。他们没有继续琢磨怎么把简单提示词"正向扩写"得更好，而是彻底掉了个头,先找一堆真实拍摄的高质量视频，用AI给这些视频写详细的"电影脚本式"描述（这一步叫视频标注），然后再反过来，从这份详细脚本倒推出一句普通人可能会说的简单需求。

打个比方，这就像教一个人写菜谱，与其让他凭空想象"红烧肉应该怎么写才专业"，不如直接找一百份米其林餐厅的真实菜谱摆在他面前，让他先学会菜谱该有的格式和专业术语，然后再练习"如果顾客只说了句'我要吃红烧肉'，我该怎么把它对应到这份专业菜谱上"。如果反过来，让他自己瞎琢磨该怎么把简单需求写详细，那些细节从哪来、该怎么组织，全凭他个人经验，很可能和真实厨房的操作规范对不上。

具体到WanPE这套系统，研究者收集了大约105万个真实视频片段（每段不超过30秒），涵盖十个内容类别，运动方式也很多样。这些视频要经过好几道技术质量、画面质量、运动质量的筛选,不是随便拿来就用。

对每个筛选出来的视频片段,研究者用一个多模态视频标注模型（能同时理解画面和声音的AI模型）给它生成一份层级化的"电影级"描述。这份描述分两层：先是整体概述，讲清楚这个视频的风格、场景、叙事视角、节奏和声音设计；然后按时间顺序拆解成一个个镜头，每个镜头详细写清楚构图、主体、动作、光线、运镜、转场、台词、音乐和音效,而且每个元素还要写明随时间的演变过程。

有了这份"标准答案"（也就是从视频反推出来的电影脚本）之后，第二步是反过来生成一个匹配的"用户需求"。这一步不能简单粗暴地把脚本压缩一下,那样得到的还是个压缩版脚本，不是普通人会说的话。研究者用GPT-5.4，配合2000条人工撰写的真实用户请求作为示例，让AI学习真实用户是怎么表达需求的语言风格和详细程度，然后生成一个既符合脚本内容、又像真人说话的简短请求。

这样就配成了一对训练数据：一句简单的用户需求，配上一份从真实视频反推出来的详细电影脚本。用这些数据对模型做监督微调（一种让模型学习"看到这句话该输出什么"的训练方式），模型学到的就不再是凭空扩写的套路，而是真实世界里专业制作是怎么组织镜头的。

论文里做了个直接对比实验。同样是从简单请求出发，一种是让专家精心设计指令、经过27轮打磨得到的"正向改写"方法，另一种是WanPE这套反向构建的方法。结果显示，反向构建的方法在专家评测里拿到49.86分（满分100分的偏好得分），比正向改写的39.49分高出10.37分，比"用正向改写的目标做训练"的35.17分高出14.69分,而且在动作、动画、台词、广告、歌舞、剧情、知识科普这七个内容类别里，反向构建方法全部排名第一。这个差距证明了一件事：从真实世界倒推出来的经验，确实比凭空想象出来的经验更靠谱。

不能让剧本走着走着就跑偏：语义一致性的训练

光有一份详细的电影脚本还不够。因为这份脚本可能有六个镜头，横跨30秒，中间涉及好几个角色、好几段台词、好几次运镜切换。如果AI在写第三个镜头的时候，忘了第一个镜头里设定的角色穿着，或者把台词安到了错误的角色嘴里，那这份脚本再详细也是废纸。

这个问题在论文里被称为语义一致性的挑战。用户提出的每一个具体要求,比如角色是谁、说了什么话、镜头怎么运动,都必须准确无误地贯穿到剧本的每一个相关镜头里，不能丢、不能改、不能张冠李戴、不能前后矛盾。

研究者为此设计了一套叫SC-GRPO的训练方法。

GRPO*：全称Group Relative Policy Optimization，一种强化学习训练方法，通过让模型针对同一个问题生成多个不同答案，然后互相比较打分来学习哪种答案更好，不需要单独训练一个价值评估网络，训练起来更轻量。

具体做法是，研究者先请人工撰写了各种各样的视频生成需求，涵盖简单到复杂的各种情况,再用之前微调好的模型生成脚本，喂给Wan3.0的视频生成器实际跑出视频。人工检查这些视频，专门挑出那些"脚本写得不错但视频呈现得不到位"的疑难案例，把这些疑难案例和大量普通案例混在一起，组成了大约1.5万条训练数据。

针对每一条用户需求，让模型生成好几份不同的候选脚本，然后用另一个AI模型（Qwen3.7-Max）来打分,评估这份脚本有没有在九个维度上（风格、主体、动作、台词、声音、镜头、光线、空间关系、场景）忠实保留用户的要求。评分会检查有没有遗漏、有没有被削弱、有没有被篡改、主体和属性的对应关系对不对、动作和镜头的顺序对不对、跨镜头之间有没有矛盾。打分完成后，用这些分数去调整模型，让它更倾向于生成得分高的那种脚本。

这套机制有点像给一个刚入行的编剧配了个"连续性监制"。如果不做这道把关,编剧可能写出一个视觉效果很炫、单个镜头很精彩的剧本，但连起来看角色的衣服换了颜色、上一秒说的话下一秒对不上、镜头从室内切到室外又莫名其妙切回来。有了这个监制反复审核打磨，最终交出来的剧本才能保证从头到尾看下去是一个完整、自洽的故事，而不是几个精彩片段的随意拼凑。

这套训练带来的效果相当明显。论文用四个不同规模的模型（4B、9B、35B、397B参数）分别测试，结果显示经过SC-GRPO训练后，语义一致性得分平均提升了18.6到23.3分（满分100分）。以397B这个最大规模的模型为例，训练前的一致性得分是75.5分，训练后飙升到97.6分，"完美输出"的比例从29.7%跃升到85.5%，而"失败"的比例从36.9%骤降到2.8%。更关键的是，这种文本层面的一致性提升，也确确实实转化成了视频质量的提升,同一批脚本喂给视频生成器后，经过SC-GRPO训练的397B模型比训练前的版本，在专家评测里的偏好得分从42.70分提高到49.69分。

考出来的成绩单：WanPEval评测和各项对比结果

光说方法好不够，得有靠谱的考卷来验证。研究者专门搭建了一个叫WanPEval的评测集，里面包含249条人工撰写的测试请求，覆盖5秒、10秒、15秒、30秒四种时长，覆盖动作、动画、台词、广告、歌舞、剧情、知识科普七个内容类别，还区分了三种需求详细程度,从只给个大概想法的"意图级"，到描述完整情节的"场景级"，再到精确指定每个镜头细节的"镜头级"。

评测方式采用了盲测对比打分，找来60位在编剧、导演、摄影等电影相关领域有专业背景的专家，让他们对着两个匿名视频（不知道分别是哪个系统生成的，左右顺序也随机打乱）做出判断：A更好、B更好、两个都好、还是两个都不好。累计做了大约1.1万次这样的两两对比评测。

结果显示，在5到15秒这个区间，WanPE-397B搭配Wan3.0视频生成器，比不用任何提示词增强、直接用原始用户请求相比，偏好得分提升了10.66到18.84分（具体是5秒提升10.66分，10秒提升16.28分，15秒提升18.84分）。而在30秒这个更具挑战性的区间，提升幅度更是夸张,偏好得分从9.38分直接跳到60.24分，涨了50.86分。这个数字背后的意思是，原始用户请求在应对30秒长视频时几乎是全面溃败的,毕竟一句简单的话根本撑不起半分钟的连贯叙事，而经过WanPE处理后，几乎实现了逆转。

跟市面上其他商业视频生成系统对比，WanPE-397B在5到15秒区间的整体偏好得分是50.61分，用Bradley-Terry模型（一种考虑对手实力强弱的排名算法）算出来的强度得分是61.85分，两项都排名第一，比排名第二的Seedance 2.0高出7.19分。在30秒这个更长的区间，WanPE-397B与目前公认最强的Seedance 2.5打了个平手,后者是59.76分，WanPE是60.24分，尤其在动画和台词类内容上，WanPE甚至拿到81.25分和73.68分，超过了Seedance 2.5的46.43分和55.00分。

Bradley-Terry模型*：一种统计排名方法，最早用于分析体育比赛的胜负关系，核心思路是每个参与者有一个"实力值"，两两比赛的胜率由双方实力差决定，这样即使不是每对选手都直接较量过，也能推算出整体排名。

值得一提的是，模型规模越大效果越好这个趋势非常清晰。从WanPE-4B到WanPE-9B到WanPE-35B再到WanPE-397B，偏好得分依次是43.60、46.00、47.85、50.61，一路稳步爬升，说明这套训练方法在不同参数规模上都能稳定生效，不是靠堆参数硬凑出来的偶然结果。

除此之外，研究者还测试了WanPE生成的脚本能不能"跨系统"使用。他们把WanPE的输出转换成LTX-2.5和MiniMax-H3这两个第三方系统的原生格式，结果发现即便脱离了原本训练时对接的Wan3.0视频生成器，WanPE生成的脚本依然比这两个系统自带的提示词增强器表现更好,在LTX-2.5上高出14.45分，在MiniMax-H3上高出5.17分。这说明WanPE学到的那套"怎么组织一场电影"的能力，不是死记硬背某个特定视频生成器的偏好，而是真正学到了具有普适性的电影语言规律。

从这篇论文往后看的路

这项工作发表之后，紧接着值得关注的是两个方向的延伸。一个是关于提示词优化的持续探索，比如同期的RAPO++工作，把训练数据对齐、推理时优化和改写器微调这三种手段结合起来，试图在提示词优化的多个阶段同时发力,这和WanPE"先解决数据分布对齐、再解决语义一致性"的两阶段思路是呼应的，说明领域内已经形成共识：单靠一种手段很难同时解决好分布对齐和语义保真这两个问题。

另一个值得关注的方向是物理真实感相关的提示词工作，比如PhyPrompt尝试训练一个具备物理常识的改写器，用监督微调加GRPO的方式让生成视频更符合物理规律。这和WanPE用GRPO保证语义一致性的思路属于同一个技术路线，但关注点从"要不要保留用户的语义要求"扩展到了"生成的内容要不要符合物理规律"，说明基于强化学习的提示词优化正在成为这个领域的主流方法论，未来大概率会有更多研究把这套框架用到不同的约束维度上。

写在后面

读这篇论文时，最触动我的其实不是那些漂亮的分数，而是"反向构建"这个思路本身带来的一种认知转换。

我们通常做AI训练的直觉，是"从简单到复杂"，给模型一个简单输入，教它一步步补充细节，最终输出复杂结果。这符合我们大多数人学习一件事的路径,先学简单的，再学复杂的。但WanPE这个团队做的事情正好相反，他们说，复杂的、高质量的东西早就存在了（真实拍摄的电影），我们缺的不是"怎么把简单变复杂"的能力，而是"复杂的东西对应着什么样的简单需求"这个映射关系。这其实是一种更接近专家学习方式的思路,老师傅带徒弟从来不是先讲抽象理论,而是先给徒弟看大量真实的成品，让他从成品里反推出规律。

另一个让我意外的细节是，论文里提到30秒视频区间的提升幅度（50.86分）远远超过5到15秒区间的提升幅度（10到19分）。这说明一件很朴素但容易被忽视的事：视频越长，提示词的质量对最终效果的影响就越大，因为短视频里出错的空间小，AI自己能兜住，但长视频一旦某个环节的连贯性出了问题，整个作品就散架了。这或许暗示着，随着视频生成模型能生成的时长越来越长，"提示词工程"这件事的重要性不但不会消失，反而会变得越来越关键,甚至可能催生出一个专门的职业方向，就像电影行业里编剧和导演的关系一样。

一个还没被回答的问题是：当视频生成模型能生成两分钟、十分钟甚至更长的内容时，现在这套"分镜头脚本"的组织方式还够用吗，还是说需要一套全新的、更接近真正电影产业工作流的规划体系？

Q&A

Q1：WanPE是什么？

A：WanPE是阿里通义万相团队推出的一款397B参数的提示词增强模型，专门用来把用户简单的视频生成需求，改写成包含分镜头、运镜、光线、音效等详细信息的电影级脚本，训练数据来自105万个真实视频。

Q2：WanPE和普通的提示词扩写工具有什么区别？

A：普通扩写工具是从简单提示词直接补充细节，生成的内容风格偏"想象出来的"。WanPE采用反向构建，先从真实电影视频提取详细脚本，再倒推出对应的简单用户需求，这样生成的脚本更贴近视频生成模型训练时见过的真实数据分布。

Q3：WanPE的效果具体提升了多少？

A：在5到15秒视频时长区间，WanPE-397B比不使用提示词增强提升了10.66到18.84分的专家偏好得分；在30秒区间，偏好得分从9.38分提升到60.24分，同时在多个时长上超过了包括Seedance 2.0在内的多款商业视频生成系统。