两条视频流的秘密:当深度学习第一次学会看懂动作

2014年之前，如果你告诉一个做计算机视觉的研究者，深度学习能看懂视频里的动作，他大概会摇摇头。

不是深度学习不行。恰恰相反，那两年深度学习在图像识别上已经杀疯了。2012年的AlexNet把图像分类的错误率从26%砍到16%，整个学界都在传"神经网络要统治视觉领域了"。可是一到视频动作识别这个任务上，深度学习却接连败给一群手工设计的老办法。

最典型的对手叫密集轨迹算法。

**密集轨迹（Dense Trajectories）**：一种手工设计的视频特征提取方法，通过追踪视频中密集分布的点的运动轨迹，再结合梯度和光流信息来描述动作，不依赖神经网络学习特征。

这套方法在2013年前后的UCF101数据集上能做到87%左右的准确率，而当时最好的深度学习方案只能徘徊在65%上下。差了20多个百分点是什么概念？意味着每5个视频动作里，深度学习就要比手工方法多认错一个还不止。这在图像识别领域是不可想象的差距，AlexNet对上一年最好的传统方法也不过赢了10个点左右。

牛津大学的Karen Simonyan和Andrew Zisserman盯上了这个问题。有意思的是，这两人几个月后又发表了另一篇改变历史的论文,提出了VGGNet,那个后来成为几乎所有视觉模型标配骨架的网络结构。也就是说，同一个小组，同一段时间，一边琢磨怎么让网络更深，一边琢磨怎么让网络看懂视频。这两件事后来被证明是深度学习视觉理解的两大支柱。

问题出在哪:静止图片和运动的本质差异

先说清楚这件事到底难在哪。

图像分类，说到底是让网络认出"这是一只猫"还是"这是一辆车"，答案藏在图片的空间结构里,边缘、纹理、颜色分布。CNN天生擅长干这个,一层层卷积核滤波器就是在提取空间图案。

但动作识别不一样。一个人"挥手"和"招手"可能长得几乎一样，区别只在于手臂怎么动，动了多快，往哪个方向动。这些信息不在某一帧静止画面里，而是藏在帧与帧之间的变化关系里。

**卷积神经网络（CNN）**：一种通过卷积层自动提取图像空间特征的深度学习模型，是图像识别领域的主力架构。

如果你直接把视频的每一帧塞进CNN，让它自己去学"运动"是什么，理论上应该行得通，因为深度学习最大的卖点就是"自动学习特征"，不需要人工设计。可实际训练出来的效果很差。当时的研究者试了各种办法,3D卷积、帧堆叠、时间池化，结果都不如人意，最好的也就65%左右，被密集轨迹按在地上摩擦。

这就好比让一个从没看过慢镜头回放的人，只给他看十张体育比赛的静态照片，让他判断运动员是在准备起跳还是刚落地。单张照片里的肌肉紧张程度、身体倾斜角度确实包含一些线索，但真正一眼就能看穿动作的方法，是看这十张照片连起来怎么变化。如果你不给他连续的信息，只给他孤立的快照，他猜错的概率会大大增加,这正是早期视频CNN卡在65%上不去的根本原因。

核心思路:把"运动"提前计算出来，喂给网络

Simonyan和Zisserman的解法说起来简单，却是那种"别人怎么没想到"的巧妙转弯。

他们没有指望CNN自己从原始像素里悟出运动的概念，而是提前用传统算法把视频里的运动信息计算出来，做成一张张"光流图"，再把这些光流图交给CNN去学习。

**光流（Optical Flow）**：描述视频中像素点在连续两帧之间移动方向和速度的一种表示方法，本质上是把"谁往哪个方向动了多快"变成一张可以量化的图。

这一步的关键在于，光流图本身已经把运动信息"翻译"成了一种更容易被CNN理解的形式,它长得就像一张图片，有横向和纵向的分量，CNN完全可以用它熟悉的卷积操作去处理这些图。

这就好比你要教一个只会看地图的人认路，但他看不懂路牌上的文字。直接让他啃文字说明书，效果很差。但如果你先把文字翻译成箭头和图标,往左转画个左箭头，直接标在地图上，他立刻就能看懂。CNN就是那个只会看"图"的学生，光流就是把"运动"这种抽象概念，翻译成了它认识的语言。如果不做这个翻译，直接把原始帧序列丢给它，效果就是前面说的那样，卡在65%左右动弹不得。

双流架构:让两种视觉分别专注自己擅长的事

基于光流的思路，两人提出了论文的核心架构,双流卷积网络。

**双流网络（Two-Stream Network）**：由两条独立的卷积神经网络组成，一条处理静止的RGB图像帧（叫空间流），专门识别场景和物体；另一条处理光流图（叫时间流），专门识别运动模式，最后把两条流的判断结果融合起来。

设计逻辑其实非常直白。人在识别一个动作时，两种信息都在起作用：这个人在什么场景里，周围有什么物体（这是空间信息，比如球场、球拍能提示"这可能是打网球"）；这个人的身体部位怎么运动（这是时间信息，挥拍的弧线和劈砍的弧线不一样）。

如果强行把这两种性质完全不同的信息塞进同一个网络，让它自己去分辨哪部分权重该给场景，哪部分该给动作，训练难度会陡增，效果也会打折扣。分开处理，让每条流各自专精，反而更容易学好。

空间流的结构基本沿用了当时流行的CNN分类网络套路，输入单帧RGB图像，输出对物体和场景的判断。时间流则输入连续多帧计算出的光流图，专门捕捉动态模式。两条流各自独立训练，最后用一个融合层（可以是简单的平均，也可以用SVM做加权）把两边的分类分数合并成最终结果。

这套设计像极了公司里的分工协作。你不会让一个人同时负责画产品设计图又负责写代码,效率太低，两种技能的思维方式完全不同。更合理的做法是让设计师专心画图，工程师专心写代码，最后两边对接整合。空间流就是那个"看场景"的设计师，时间流就是那个"看动作节奏"的工程师，如果硬要合并成一个人干两件事，结果往往是两头都做不精。

论文里做了个很直接的对照实验来验证这个分工的价值。单独用空间流，在UCF101上准确率是72.6%；单独用时间流，能到81.2%；而两者融合之后，跳到了88%。这个数字说明两件事,首先，运动信息确实比单张画面更能说明"发生了什么动作"，时间流单挑就比空间流强将近9个点；其次，两种信息并不是互相替代关系，而是互补关系，融合之后又比最强的单一流多赚了近7个点。

![双流网络结构图]

论文里那张架构图画得很清楚，两条并列的网络管道各自吃进不同的输入，中间互不干扰，最后在末端汇合。这张图本身就是整个方法的灵魂，没有什么花哨的连接方式，就是老老实实地分工，再老老实实地合并。

数据不够怎么办:从静态图片里借力

深度学习一个绕不开的痛点是数据饥渴，网络参数越多，需要的训练样本就越多。当时的视频动作识别数据集，比如UCF101，只有一万三千多个短视频片段，这个规模对于训练一个深层CNN来说是相当吃紧的，很容易过拟合。

**过拟合（Overfitting）**：模型在训练数据上表现很好，但在没见过的新数据上表现很差，通常是因为训练数据太少或模型太复杂导致的。

Simonyan和Zisserman想了个办法，用ImageNet这个规模大得多的静态图片数据集来预训练空间流网络。

**ImageNet**：一个包含超过一百万张标注图片、涵盖上千个类别的大规模图像数据集，是深度学习图像识别领域最重要的基准数据集之一。

空间流本质上就是在识别场景和物体，这跟ImageNet的图像分类任务性质高度重合，所以完全可以先在ImageNet上训练出一套通用的视觉特征提取能力，再拿到UCF101这样规模小的视频数据集上做微调。这一步大大缓解了数据不足带来的过拟合问题。

这就好比一个刚毕业的新人要去一家小公司做专精的工作，公司数据积累不够，没法从零开始培养他的基本功。但如果这个人之前已经在一家大公司经历过大规模的通用训练，积累了扎实的基础能力，去小公司之后只需要针对具体业务再微调一下，上手速度会快很多，也不容易在小数据集上"学歪"。如果不做这层预训练，直接在一万多个视频片段上从零训练一个深层网络，模型很可能记住了训练集里的细节噪声，换一批新视频就完全不会认了。

时间流没法直接用ImageNet预训练，因为光流图和普通图片的性质差别较大，但研究者用了多任务学习的技巧，把不同数据集（比如UCF101和HMDB51）联合起来训练时间流，变相扩充了有效的训练样本量。

结果说话:第一次，深度学习赢了

最终的实验结果是这篇论文之所以被记住的核心原因。

| 方法 | UCF101准确率 |

|---|---|

| 单独空间流 | 72.6% |

| 单独时间流 | 81.2% |

| 密集轨迹（当时最强手工方法） | 87.9% |

| **双流网络融合** | **88.0%** |

这个数字乍看好像只比密集轨迹高了0.1个百分点，似乎没那么震撼。但它的历史意义不在于赢了多少，而在于这是深度学习第一次在视频动作识别这个任务上追平甚至反超手工特征方法。要知道之前深度学习一直被压制在65%左右，双流网络这一下子直接把差距抹平，还反超了一点点。这在2014年的分量，不亚于两年前AlexNet在图像分类上掀起的那场革命。

它证明了一件之前没人确定的事,只要给CNN喂对了输入形式（光流），它完全有能力学到跟手工设计特征一样好，甚至更好的运动表征。问题不在于深度学习不行，而在于之前的做法没有把"运动"这个概念用CNN能理解的方式呈现出来。

后来的故事:双流思路被不断放大

这篇论文之后，双流的思路成了视频理解领域接下来好几年的主流范式，很多团队在这个基础上继续往前推。

3年后，Feichtenhofer等人在2016年发表的论文把双流架构里的融合方式做了升级，提出了更早、更深层次融合空间流和时间流特征的方法，而不是像原始双流网络那样只在最后一层简单相加，这让两条流之间能更早地互相"交流信息"，进一步提升了准确率。

同样重要的一条分支是Carreira和Zisserman（还是同一个Zisserman）在2017年提出的I3D网络，他们把双流的思想和3D卷积结合起来，直接用3D卷积同时处理空间和时间维度，并且借鉴了双流网络里"用大规模数据预训练"的思路，用Kinetics这个更大规模的视频数据集做预训练，把UCF101上的准确率推到了98%以上。这个数字放在今天看依然惊人，但如果没有双流网络先验证"运动信息可以被CNN学会"这件事，后面这些改进很可能不会朝着这个方向去尝试。

写在后面

读这篇论文时最让我意外的一点，是研究者没有执着于"让深度学习证明自己万能"这件事。

他们本可以硬着头皮死磕纯端到端的3D卷积方案，非要证明CNN能直接从原始像素里学出运动概念。但他们没有，反而选择先用传统算法算出光流，把"半成品"喂给网络。这种做法在当时其实有点不那么"纯粹"，深度学习圈子里一直有种审美倾向，觉得端到端、不依赖手工设计的方案才是真正优雅的解法。

双流网络某种程度上是一个妥协的产物,一部分靠深度学习，一部分靠传统信号处理。但正是这个妥协，让深度学习第一次在这个任务上站稳了脚跟。这多少说明一个问题，工程上的胜利有时候不需要理念上的纯粹，能解决问题的组合方案，比固守某种方法论的教条主义更有价值。

另一个值得琢磨的细节是，空间流和时间流分开训练又能提升到88%这件事，某种程度上呼应了一个更广泛的认知规律,专业分工往往比让一个通用系统同时处理所有信息更有效，无论这个系统是神经网络还是人类团队。

Q&A

Q1：双流网络是什么？

A：双流网络是2014年Simonyan和Zisserman提出的视频动作识别方法，用两条独立的卷积神经网络分别处理静止图像帧和光流图，再把两者的判断结果融合，从而识别视频中的动作。

Q2：双流网络在UCF101数据集上准确率是多少？

A：融合空间流和时间流后达到88%，比当时最强的手工方法密集轨迹（87.9%）略高，是深度学习第一次在视频动作识别任务上追平并反超传统手工特征方法。

Q3：双流网络对后续研究有什么影响？

A：2016年Feichtenhofer等人改进了双流融合方式；2017年Carreira和Zisserman提出I3D网络，结合3D卷积和大规模预训练，把准确率推高到98%以上，双流思路成为视频理解领域多年的主流范式。