控制随心，视频随意：ByteDance智能创作的ATI轨迹控制系统如何彻底改变视频生成技术

在视频生成技术迅速发展的今天，来自ByteDance智能创作团队的研究者们发布了一项令人振奋的突破性成果。由Angtian Wang、Haibin Huang、Jacob Zhiyuan Fang、Yiding Yang和Chongyang Ma共同完成的研究论文《ATI: Any Trajectory Instruction for Controllable Video Generation》于2025年5月28日发布在arXiv预印本平台（arXiv:2505.22944v1），这项工作彻底改变了我们控制AI生成视频的方式。有兴趣深入了解的读者可以通过项目网站https://anytraj.github.io/查看更多细节。

为什么视频控制如此重要？

想象一下，你手里有一张美丽的风景照片，想让它"活"起来——也许你希望云朵缓缓飘动，或者让鸟儿从左向右飞过天空。在ATI出现之前，实现这样的愿望可能需要使用多个不同的工具和技术：一个工具控制相机移动（比如缩放或平移），另一个工具控制物体运动（让鸟儿飞起来），再加上第三个工具处理细微的局部变形（让树叶随风摆动）。这就像是烹饪一道复杂的菜肴，但必须在三个不同的厨房完成不同的步骤，最后再试图将它们完美地组合在一起——结果常常令人失望。

ByteDance智能创作团队的研究者们认识到这个问题，并提出了一个优雅的解决方案：如果我们能用一种统一的方式来描述所有类型的运动呢？这就是ATI（Any Trajectory Instruction，任意轨迹指令）系统的核心思想。

ATI如何工作？从点到动态视频的神奇过程

ATI的工作原理出奇地简单又直观。想象你手里有一张照片，你可以在上面标记几个你关心的点，然后为每个点画出一条轨迹，指定它在未来视频中应该如何移动。这些点可以代表任何东西：

如果你在一只猫的眼睛和尾巴上标记点，并画出轨迹，ATI会让猫按照你指定的方式动起来。

如果你在整个场景中均匀地标记一些点，并让它们全部向右移动，ATI会创建一个相机向左平移的效果。

如果你在场景中均匀标记点，并让它们从中心向外扩散，ATI会生成一个相机缩放效果。

就像一个熟练的木偶师通过牵动几根关键的线就能让整个木偶栩栩如生，ATI通过控制几个关键点的轨迹就能让整个场景自然地动起来。

从技术角度来看，ATI的实现非常巧妙。研究团队首先将用户定义的轨迹点投射到预训练的图像到视频生成模型的潜在空间中。简单来说，这就像是在AI的"思维空间"中种下运动的种子，然后让AI根据这些种子生成完整的视频。

具体来说，ATI使用了一个叫做"运动注入器"（motion injector）的轻量级模块，它能够将轨迹信息转化为AI能理解的指令。这个过程类似于翻译工作—将人类直观的轨迹指令翻译成AI系统能理解的语言。最妙的是，这个注入器非常轻量，可以轻松地集成到现有的视频生成模型中，而无需对这些模型进行重新训练。

数据是关键：如何教会AI理解轨迹

任何机器学习系统的成功都离不开高质量的训练数据。为了教会ATI理解和遵循轨迹指令，研究团队构建了一个包含240万个高质量视频片段的大规模数据集。

这个数据收集过程可以类比为一个大规模的"追踪游戏"。首先，研究团队从500万个高质量视频片段中筛选出展示明显物体运动的240万个片段。然后，他们在每个视频的第一帧上均匀地选取120个点，并使用一个名为TAP-Net的先进跟踪算法来记录这些点在整个视频中的运动轨迹。

这就像是给每个点贴上一个小标签，然后观察它们在视频中的"旅行路线"。通过收集大量这样的"旅行日志"，AI系统学会了理解不同类型的运动模式，以及如何根据用户指定的轨迹生成自然、连贯的视频内容。

为什么ATI如此特别？统一的控制方式改变游戏规则

ATI的最大创新在于它提供了一个统一的框架来处理所有类型的视频运动控制。这就像是发明了一种通用语言，能够同时描述跳舞、行走和飞行，而不需要为每种动作使用不同的语言。

在ATI之前，研究人员通常会为不同类型的运动控制开发专门的工具： - 相机控制工具使用特殊的坐标系统来描述相机的移动 - 物体运动控制工具使用边界框或光流来指导物体的位移 - 局部变形控制则需要更复杂的模型来处理细微的形状变化

ATI打破了这些界限，提出了一个简单而强大的见解：所有这些运动类型都可以通过点轨迹来统一表示。无论你想要控制相机移动、物体平移还是局部变形，都可以使用相同的轨迹指令来实现。

这种统一的方法大大简化了用户的工作流程。就像厨师不再需要在多个厨房之间奔波，而是在一个设备齐全的厨房中完成所有烹饪步骤，用户现在可以在一个界面中完成所有的运动控制。

技术细节：ATI如何在幕后工作

从技术角度来看，ATI的工作流程非常优雅。当用户提供一张输入图像和一组轨迹指令时，系统首先通过VAE（变分自编码器）将图像编码为潜在特征。对于每个轨迹点，系统从其初始位置提取一个特征向量，并计算一个高斯分布来表示该特征在后续帧中的分布。

这个过程可以类比为在水面上投下一块石头。石头（轨迹点）在水面上创造出涟漪（高斯分布），这些涟漪随着时间的推移按照预定的路径移动。系统使用这些移动的"涟漪"来指导视频生成过程，确保生成的内容遵循用户指定的轨迹。

研究团队还解决了一个有趣的技术挑战：当一个轨迹在视频结束前终止时，系统往往会生成不自然的遮挡。研究人员通过引入"尾部丢弃正则化"（Tail Dropout Regularization）技术解决了这个问题。在训练期间，系统随机截断一些轨迹，这样模型就学会了理解轨迹的终止并不总是意味着遮挡或离开画面。

这就像教导一个孩子理解，当一个人离开你的视野范围时，并不一定是躲到了什么东西后面，也可能只是停止了移动。

实验结果：ATI在实际应用中的表现

研究团队将ATI集成到两个最先进的视频生成模型中：Seaweed-7B和Wan2.1-14B，并进行了广泛的评估。结果令人印象深刻：

ATI能够成功处理各种复杂的视频生成任务，包括:

物体运动控制：让宠物、人物或其他物体按照指定轨迹移动，同时保持自然的外观和运动。例如，让一只海豚从水中跃起，或者让一个角色的面部表情随时间变化。

相机控制：实现平滑的相机移动效果，如缩放、平移或旋转。ATI甚至可以模拟复杂的摄影技巧，如"杜比变焦"（Dolly Zoom）——这是一种通过同时调整相机位置和焦距来创造戏剧性视觉效果的技术。

组合控制：最令人印象深刻的是，ATI能够同时处理相机移动和物体运动，创造出丰富、复杂的视频效果。例如，相机可以环绕一个物体，同时该物体也在进行自己的运动。

在量化评估中，研究人员测试了ATI在跟踪准确性方面的表现。对于Seaweed-7B模型，ATI在严格的跟踪标准（误差小于图像对角线的1%）下达到了36%的准确率，在较宽松的标准（误差小于图像对角线的5%）下达到了59%的准确率。可见度率（系统正确预测点是否可见的比例）达到了67.9%。这些数字表明ATI能够相当准确地遵循用户指定的轨迹。

当然，ATI也有一些局限性。对于非常快速的运动（例如，一个点在两帧之间移动半个图像宽度），系统可能无法准确跟踪轨迹。同样，对于需要物体分解的轨迹（例如，强制一个物体分裂成多个部分），系统可能会生成不自然的变形或失败。

但总的来说，ATI展示了出色的轨迹跟踪能力，即使在轨迹交叉或重叠的情况下也能保持稳定的表现。有趣的是，研究人员还观察到ATI有时会找到创造性的解决方案来满足用户的轨迹指令，例如，旋转相机而不是应用不合理的物体变形。

从理论到实践：ATI的实际应用场景

ATI的出现为视频创作者、设计师和普通用户打开了新的可能性之门。这项技术可以应用于多种实际场景：

内容创作：艺术家和创作者可以轻松制作具有精确运动控制的动画和视频效果，而无需学习复杂的动画软件。

电影制作：电影制作人可以快速预览不同的相机移动和角色动作，以低成本探索创意选择。

社交媒体内容：普通用户可以为他们的照片添加生动的动态效果，使社交媒体分享更加引人注目。

教育和演示：教师和演讲者可以创建动态的可视化内容，使复杂的概念更容易理解。

设计原型：设计师可以快速创建动态原型，展示产品如何在实际使用中运动和交互。

ATI的真正魅力在于它的普适性和易用性。就像智能手机的触摸界面让复杂的计算任务变得简单直观一样，ATI的轨迹控制方法让复杂的视频生成变得简单易用，使更多人能够参与创意视频制作。

未来展望：ATI的发展方向

尽管ATI已经展示了令人印象深刻的能力，研究团队仍然看到了进一步改进的空间。在论文的结论部分，他们提到计划在未来增强控制能力，确保物体运动更好地遵循现实世界的物理规律和用户输入。

这可能意味着引入物理约束，使生成的运动更加自然；或者开发更复杂的轨迹规划工具，让用户能够更精确地控制运动的速度、加速度和其他属性。

此外，ATI的统一控制框架也为其他类型的生成控制提供了启示。未来的研究可能会探索如何将轨迹控制与其他控制信号（如文本、音频或草图）结合起来，创造更丰富、更多样化的生成内容。

随着视频生成技术的不断发展，ATI代表了一个重要的里程碑——它不仅提高了控制的精度和质量，更重要的是，它简化了控制的方式，使这项技术更加平民化。

在过去，创造动态视觉效果需要专业的知识和复杂的工具；现在，有了ATI，任何人都可以通过简单的点和线来指导AI创造生动的视频内容。这就像是从需要专业训练的管弦乐团转变为任何人都能使用的直观乐器——音乐（或在这里，视频创作）变得更加民主化和普及化。

结语：点线之间的视频魔法

ATI的出现向我们展示了AI如何使复杂的创意任务变得简单直观。通过将各种类型的运动控制统一到一个基于轨迹的框架中，ByteDance智能创作团队不仅提高了视频生成的控制精度，还大大简化了用户的创作流程。

归根结底，ATI的成功在于它找到了一种直观、统一的方式来表达我们对运动的意图。就像人类可以通过简单的手势来指示方向和运动一样，ATI让我们可以通过简单的轨迹来指导AI生成复杂、自然的视频内容。

这项研究让我们离"思想直接转化为视频"的理想又近了一步。对于普通人来说，ATI可能意味着在不久的将来，我们将能够更轻松地创建个性化的动态内容，无论是为了工作、教育还是纯粹的娱乐。

对于那些想深入了解ATI的技术细节或亲自尝试这项技术的读者，可以访问项目网站https://anytraj.github.io/获取更多信息和资源。随着这类技术的不断发展，视频创作的未来将变得越来越令人期待。