两个视频流，一个大脑：深度学习第一次在动作识别上超越了手工特征

2014年的秋天，计算机视觉圈里发生了一件让很多人皱眉的事。

那年深度学习已经火了两年。AlexNet 在图像分类上把传统方法打得体无完肤，大家都以为神经网络会像秋风扫落叶一样接管整个视觉领域。但视频动作识别这块地,深度学习死活啃不动。

当时最好的手工特征方法，一种叫做密集轨迹的技术，在标准测试集上能拿到接近85%的准确率。而基于深度学习的方法，折腾了两年多，最好的成绩只有65%左右，整整落后20个百分点。

这20个百分点意味着什么？意味着如果你让密集轨迹和深度学习各自识别100个动作视频，深度学习会比对手多认错20个。这不是一个小差距，这是判若云泥的差距。

牛津大学的 Karen Simonyan 和 Andrew Zisserman 就是在这个背景下开始琢磨这件事的。有意思的是，这两位几个月后还发表了另一篇论文，提出了后来大名鼎鼎的 VGGNet。同一个实验室，同一批人，同时在打两场仗，一场是图像分类，一场是视频识别。

问题出在哪儿？

一段视频和一张图片最大的不同，是它有时间维度。一张静止的图片里，一个人举着水杯,你能看出这是"拿杯子"的动作。但一段视频里，你还能看出他是在把水杯举高还是放下，这个信息只能从画面的变化里读出来。

早期的深度学习方法，本质上是把视频当成一堆图片的集合，用卷积网络逐帧处理，然后想办法把结果汇总起来。这个思路听起来合理，但效果很差。

原因在于，卷积网络天生擅长找空间中的模式，比如边缘、纹理、形状。但它并不擅长捕捉"这一帧到下一帧发生了什么变化"这种时间上的动态信息。你让一个只会看照片的人去猜一段无声电影里角色的动作，他能看出场景和物体，但很难精确判断谁在做什么动作，因为动作的本质是变化，而不是某个瞬间的静态画面。

这就是为什么深度学习一直打不过手工特征。手工特征比如密集轨迹，是专门设计来追踪像素点随时间移动的轨迹的，天生就是为运动信息服务的。而卷积网络当时的用法完全没有针对这一点做优化。

两条流，一个是眼睛，一个是运动感

Simonyan 和 Zisserman 的解决方案，说出来其实很简单，简单到让人觉得"这也算创新？"但简单不代表容易想到，也不代表容易做对。

他们提出了双流网络。

双流网络：一种把视频拆成两条并行处理流的架构,一条叫空间流,专门看画面内容,另一条叫时间流,专门看运动信息,两条流最后融合出最终结果。

空间流很好理解，它就是一个普通的卷积网络，输入是视频中的单帧画面，负责识别画面里有什么，比如场景是游泳池还是篮球场，画面里有没有球拍、水杯这类物体。这部分工作卷积网络本来就很擅长。

时间流才是这篇论文真正的巧思所在。它不直接输入原始画面，而是输入光流场。

光流场：描述画面中每个像素点在连续两帧之间移动方向和速度的一种表示,可以理解成给画面里的每一个像素都画一个指向它下一步要去哪儿的箭头。

想象你在看一段足球比赛的视频，画面里球员在跑，球在飞。如果你把每一帧单独拿出来看，你只能看到球员站在某个位置，球停在空中某一点。但如果你计算出光流场，画面上会浮现出一堆密密麻麻的箭头，球员脚下的箭头指向他跑步的方向，球周围的箭头指向它飞行的方向。这些箭头本身就是纯粹的运动信息，跟画面里到底是谁在跑、球是什么颜色完全没关系。

这就是双流网络的核心洞察：把"看到了什么"和"发生了什么运动"这两件事彻底拆开，分别用两个专门的网络处理，最后再把两边的判断结果融合起来。

这里必须停下来打一个类比,而且这个类比要经得起推敲。

想象你去医院看病，医生要判断你是不是得了某种病。一个医生只看你的X光片，只能看出你骨骼和器官的静态结构有没有异常。另一个医生专门看你的心电图，只能看出你的心脏跳动的节律和变化模式。这两种信息缺一不可，X光片看不出心律不齐，心电图也看不出骨折。如果医院坚持只用一种检查手段,比如只拍X光,那心律不齐的病人永远查不出问题,漏诊率会直线上升。双流网络做的事情，就是分别请两个专科医生看片子，然后综合两边的诊断意见给出最终结论。如果只用一个医生，无论他多厉害，总有一类信息他天生看不见。

论文里的实验数据也印证了这一点。如果只用空间流单独做判断，在 UCF-101 数据集上的准确率是72.6%。如果只用时间流单独做判断，准确率反而更高一些，能到81%左右。但当两条流融合之后，准确率跳到了88%。

这组数字说明了一件很关键的事：两条流看到的信息是互补的，不是重复的。空间流单独用会漏掉运动细节，时间流单独用又会丢失场景和物体的语义信息，只有把两者结合起来，才能逼近人类识别动作时的判断逻辑。

而这个成绩，第一次让基于深度学习的方法在标准测试集上追平甚至超过了手工设计的密集轨迹特征。这是深度学习在视频动作识别领域第一次真正意义上的胜利，放在2014年的语境下，这个分量不亚于两年前 AlexNet 在图像识别上的横空出世。

时间流的输入不是视频，而是提前算好的光流图

这里有个技术细节值得展开讲讲，因为它体现了研究者当时的一种务实的妥协。

理论上，最理想的做法是让网络自己从原始视频里学出运动特征,不需要人工去算什么光流。但2014年的计算资源和网络设计能力还没到那个程度，直接让网络从像素堆里学出运动模式，效果并不好。

于是 Simonyan 和 Zisserman 采取了一个折中方案：用传统的光流算法（不是深度学习方法）提前把视频转换成光流图，再把这些光流图喂给时间流网络去学习。

这就好比你想教一个从没见过乐谱的人弹钢琴，直接让他从空气震动的声波数据里学会弹奏,几乎不可能。但如果有人先帮他把声音转成乐谱,他就能专注学习乐谱和手指动作之间的对应关系，学习效率会高得多。光流算法在这里就扮演了"转谱人"的角色，把原始的、网络难以直接消化的运动信息，转成了一种更结构化、更容易被卷积网络学习的形式。如果没有这一步预处理，直接把两帧原始画面前后拼接扔给网络，效果会差很多，因为网络得同时学会"计算运动"和"理解运动含义"两件事，而这两件事一起学的难度远大于分开学。

这个设计选择也暴露了这篇论文的一个历史局限。它依赖传统算法计算光流，这意味着整个系统不是纯粹的端到端深度学习，中间嵌入了一段手工设计的模块。这在当时是不得已的选择,但也给后来的研究者留了一个明确的靶子:能不能让网络自己学会算光流？

多任务学习：用更多的数据把网络喂饱

除了双流架构本身，论文里还有一个常常被忽略但很重要的贡献，就是他们怎么解决数据不够用的问题。

2014年的视频动作识别数据集普遍偏小。UCF-101 只有大约13000段视频，HMDB-51 更小，只有几千段。相比图像分类动辄百万张图片的训练规模，这个数据量对于训练一个深层卷积网络来说是杯水车薪。

数据不够，网络很容易过拟合,也就是在训练集上表现很好，但换到新的视频上就识别不准了。

Simonyan 和 Zisserman 的应对方式是引入多任务学习。

多任务学习：让同一个网络同时在多个不同的数据集上训练，共享大部分参数，只在最后输出层区分不同任务，这样能让网络从更多样的数据里学到更泛化的特征。

具体来说，他们让网络同时在 UCF-101 和 HMDB-51 两个数据集上训练，网络的主体结构共用，只是最后分类层分成两支，分别输出针对两个数据集的预测结果。这样一来，网络实际见过的训练样本总量变多了，也见过了更多样的动作类型和场景，泛化能力自然更强。

这就像一个学生同时在准备两门考试，虽然考试内容不完全一样，但复习过程中积累的解题思路、知识基础是通用的，两门课互相都能帮到对方。如果这个学生只闷头刷一门课的题，遇到题型稍微变化就容易翻车,因为他见过的样本类型太窄。多任务学习本质上就是在用"任务的多样性"去弥补"单一数据集规模不足"的短板。

实验证明这个策略确实有效，加入多任务学习之后，模型在两个数据集上的准确率都有提升，尤其是在数据量更小的 HMDB-51 上，提升更明显。

| 方法 | UCF-101 准确率 | HMDB-51 准确率 |

|---|---|---|

| 手工特征（密集轨迹相关方法） | 约 85% | 约 57% |

| 早期深度学习方法 | 约 65% | 约 35% |

| 仅空间流 | 72.6% | 40.5% |

| 仅时间流 | 81.0% | 54.6% |

| **双流网络融合** | **88.0%** | **59.4%** |

这张表格里最值得玩味的一行是最后一行。融合之后的双流网络，不仅超过了早期深度学习方法一大截，在 UCF-101 上还首次追平甚至略微超过了手工特征方法，在 HMDB-51 上也终于反超。这是一个标志性的时刻,证明深度学习不是不行,只是之前的用法不对。

这篇论文之后发生了什么

双流网络这个思路的影响力，远超论文发表时的预期。

2016年，Christoph Feichtenhofer 等人发表了 Temporal Segment Networks（时序分段网络），把双流网络里"只看单帧和单个光流片段"的局限性给解决了。原来的双流网络一次只处理视频里很短的一段，对长视频里的长时间动作理解不足。TSN 把整段视频切成多个片段，每个片段各自跑一遍双流网络，再把结果汇总，这样网络能看到整个视频的时间跨度，而不是只盯着某几帧。

2017年，Carreira 和 Zisserman（同样有 Zisserman）发表了 I3D 网络，试图彻底解决前面提到的那个历史局限:双流网络依赖手工计算光流。I3D 把二维卷积网络直接扩展成三维卷积网络，让网络能够直接从原始视频帧里同时学习空间和时间特征，不再需要额外计算光流。这个方法后来在 Kinetics 数据集上刷出了当时的最好成绩，也标志着视频理解领域开始向真正的端到端深度学习迈进。

这两篇后续工作分别从"时间跨度不够长"和"依赖手工光流"这两个双流网络遗留的问题上做了突破,恰好也印证了双流网络虽然是里程碑，却不是终点。

写在后面

读这篇论文最触动我的地方，不是双流架构本身的精巧，而是那个务实的妥协：明知道端到端学习是更优雅的方向，但当时条件不允许，就先用传统算法把光流算出来，把架构落地，把效果做出来。很多时候研究的进展不是靠一步到位的完美方案，而是靠先解决七成的问题，把剩下三成留给后人。

还有一个细节值得单独说一说。论文里提到，时间流单独使用时的效果居然比空间流更好，81%对72.6%。这个结果多少有点反直觉,因为直觉上你会觉得"看懂画面里是什么"应该比"看懂画面怎么变化"更重要。但事实恰恰相反，至少在这类动作识别任务里，运动信息本身携带的判别力比静态场景信息更强。这提示了一件事：人类觉得"理所应当更重要"的信息,在机器眼里未必真的更重要，这中间的落差,恰恰是做研究最有意思的地方。

Q&A

Q1：双流网络是什么？

A：双流网络是2014年由 Simonyan 和 Zisserman 提出的一种视频动作识别架构，把视频处理拆成两条并行的卷积网络，一条处理单帧画面的空间信息，一条处理光流图的运动信息，最后融合两者的判断结果。

Q2：双流网络为什么要单独引入光流图，而不是直接用原始视频帧？

A：因为直接让网络从原始像素里学习运动信息效果很差，用传统算法先把视频转成光流图，能把运动信息以更结构化的方式呈现给网络，大幅降低学习难度，这是当时技术条件下的务实折中方案。

Q3：双流网络之后视频识别领域有哪些重要的后续进展？

A：2016年的 Temporal Segment Networks 解决了双流网络只能处理短视频片段的问题，2017年的 I3D 网络用三维卷积彻底摆脱了对手工光流算法的依赖，实现了更接近端到端的视频理解。