视频里的动作，AI是怎么"看"出来的

2014年，如果你问一个做计算机视觉的研究者，深度学习能不能识别视频里的动作，大概率会得到一个含糊的答案。

不是因为没人试过。而是试过的人,都被现实教育了一遍。

那一年,深度学习已经在图片识别上打得风生水起,AlexNet两年前刚刚证明了卷积神经网络能在静态图像上碾压传统方法。可一旦把静态图片换成动态视频,情况就完全不同了。当时最好的深度学习方法,在UCF-101这个动作识别数据集上准确率只有大约65%到70%,而一种叫做**密集轨迹**的手工特征方法,能做到87.9%。

> 密集轨迹*：一种不依赖深度学习的传统动作识别方法,通过追踪视频画面里密集分布的采样点如何随时间移动,来捕捉动作的运动轨迹和统计特征。

差了将近20个百分点。这是什么概念?意味着每识别5个动作,深度学习就要比手工方法多认错1个。放在实际应用里,这个差距足够让所有工程团队直接放弃深度学习方案,老老实实用手工特征。

这就是牛津大学的Karen Simonyan和Andrew Zisserman在2014年面对的局面。他们后来写出了那篇著名的《Two-Stream Convolutional Networks for Action Recognition in Videos》,而这篇论文要解决的问题,说白了就一句话：深度学习为什么在视频上打不过老办法,以及怎么才能打过。

问题出在哪:视频不是图片的堆叠

要理解他们的解法,先得理解为什么直接把图片识别的思路搬到视频上会失败。

最直觉的做法是什么?把视频拆成一帧一帧的图片,每帧单独用卷积神经网络识别,最后把结果综合一下。这个思路听起来很合理,毕竟视频本质上就是连续的图片。

但问题恰恰出在"连续"这两个字上。单帧图片能告诉你画面里有什么,比如一个人、一个球、一片草地。但它没法告诉你这个人正在做什么动作。一个人举着手臂的静态画面,可能是正在挥拍打网球,也可能是正在伸懒腰,也可能是准备扔东西。动作的关键信息藏在时间维度里,藏在画面如何随时间变化的过程里,而不是藏在某一个静止的瞬间。

> 卷积神经网络*：一种擅长处理图像的深度学习模型,通过卷积层逐层提取图像中的边缘、纹理、形状等特征。

这就好比你想判断一个人是在鼓掌还是在挥手告别,如果只给你看一张照片,两个动作在某个瞬间的手部姿势可能长得几乎一样。你必须看到手在接下来几秒钟里是怎么动的,才能分辨清楚。单帧图片天然缺失了这种时间信息,这是逐帧识别方法的根本短板。

如果不解决这个问题会怎样?实验数据已经说得很清楚了,只靠单帧图片训练出来的网络,准确率长期卡在70%左右上不去,和密集轨迹的87.9%比,差距明明白白摆在那里。

核心方案:把视频拆成两条河

Simonyan和Zisserman的解法,思路上其实很朴素:既然一个网络管不了时间和空间两件事,那就用两个网络,一个专门管空间,一个专门管时间,最后把两边的判断结果合起来。

这就是**双流卷积网络**的核心设计。

> 双流卷积网络*：论文提出的模型架构,由两条独立的卷积神经网络分支组成,一条处理静态画面,一条处理运动信息,最后融合两者的预测结果。

第一条流叫**空间流**,输入就是普通的视频帧,和图片识别没什么区别,负责识别画面里有什么物体、什么场景,提供"背景信息"。比如一个网球场、一个游泳池、一个厨房,这些静态场景本身就能提示很多动作的可能性。

第二条流叫**时间流**,这才是整个设计的关键所在。它的输入不是原始画面,而是**光流场**。

> 时间流*：双流网络中专门处理运动信息的分支,输入是光流数据而非原始图像。

> 光流场*：描述视频中每个像素点在连续两帧之间移动方向和速度的向量场,本质上是把"运动"这件事直接量化成了一张可以输入神经网络的数据。

这里需要多解释一下光流场到底是什么。假设你拍了两张连续的照片,一张是球在空中飞行的某一刻,下一张是球再往前飞了一点。光流算法会去比较这两张图,算出画面里每一个点往哪个方向移动了多远,把这些移动方向和距离画成一张"运动地图"。这张地图上,静止的背景基本不动,而移动的物体会呈现出明显的方向性和速度分布。

把这种光流图直接喂给一个卷积网络去学,网络就能专门去学"运动模式长什么样",而完全不需要费心去分辨画面里到底是猫还是狗、是网球场还是游泳池。这种分工,让两条网络各自轻装上阵,一个只操心"是什么",一个只操心"怎么动"。

这就像一个乐队里,鼓手只管打节奏,主唱只管唱旋律。如果强迫一个人同时兼顾打鼓和唱歌,大概率两件事都做不好,顾了旋律就乱了节奏,盯着节奏又唱跑调。但把两件事分给两个专业的人各自负责,最后合奏出来的效果反而更好。如果不做这种分工,强行用一个网络同时学空间特征和时间特征,论文里的对比实验显示效果明显更差,这也是为什么早期直接用3D卷积或者简单堆叠帧数的方法一直没能打过手工特征的原因之一。

![双流网络架构图]

论文里的架构图画得很直白:输入视频,一路进入空间流网络处理RGB图像,另一路计算出光流后进入时间流网络,两个网络各自输出一个动作类别的预测分数,最后把两个分数融合,得到最终判断。

有意思的是,论文里专门去看了时间流网络第一层卷积核学到的东西,发现这些卷积核大多呈现出明显的方向性,像是专门在检测某种方向上的运动模式。这不是人为设计出来的,是网络自己从数据里学出来的规律。这说明光流场里最有信息量的东西,确实就是运动的方向性,网络的学习结果反过来验证了研究者一开始的直觉是对的。

数据不够怎么办:借用图片识别的老本

双流网络设计出来了,但马上撞上第二个难题:训练数据不够。

图片识别领域当时已经有ImageNet这种上百万张标注图片的超大数据集,而视频动作识别的数据集小得多,UCF-101总共也就1万3千多个视频片段。神经网络是数据的饥渴儿童,数据量不够,网络很容易在训练集上学得很好,但一到新数据上就发挥失常,这就是**过拟合**。

> 过拟合*：模型在训练数据上表现很好,但因为记住了太多训练集特有的细节,导致在没见过的新数据上表现明显变差的现象。

Simonyan和Zisserman想了一个巧妙的办法解决这个问题,叫**多任务学习**。

> 多任务学习*：让同一个网络同时在多个相关数据集上训练,共享大部分网络参数,只在最后输出层区分不同任务,这样可以让数据量小的任务也能借用数据量大的任务学到的通用特征。

具体来说,他们让空间流网络同时在两个数据集上训练,一个是UCF-101,另一个是另一个动作识别数据集HMDB-51。网络的主体结构共享,只在最顶端分出两个输出分支,分别对应两个数据集的分类任务。这样一来,网络能从两份数据里一起学习通用的视觉特征,相当于把两个小数据集拼成了一个更大的训练资源。

这个思路其实很像现实生活里的技能迁移。一个人如果只学过打网球,可能对羽毛球会有些陌生。但如果他同时练网球和羽毛球,虽然规则不完全一样,两项运动对手眼协调、步伐移动、挥拍力度的基本要求是相通的,同时练两项反而能让他在每一项上都进步更快,因为身体学到的是更底层、更通用的运动能力,不是死记硬背某一项运动的固定套路。如果不这样做,单独在一个只有几千个样本的小数据集上死磕,网络很容易学到一些只在这个数据集里凑巧成立的偏差规律,换一批新视频立刻现出原形。

论文的实验证明了这个思路确实有效,加入多任务学习后,准确率有了明显提升,证明数据量不足的问题,可以通过巧妙地共享和借用相关任务的数据来缓解,而不是死等更大的数据集出现。

实验结果:第一次真正追平甚至超过手工特征

方法讲完了,最关键的问题是,这套设计到底管不管用?

论文在两个标准数据集UCF-101和HMDB-51上做了系统的对比实验。结果如下:

| 方法 | UCF-101准确率 | HMDB-51准确率 |

|---|---|---|

| 只用空间流 | 72.6% | 40.5% |

| 只用时间流 | 81.0% | 54.6% |

| 双流网络(融合) | **88.0%** | **59.4%** |

| 密集轨迹(手工特征基准) | 87.9% | 57.2% |

这组数字信息量很大,值得拆开来看。

首先,只用空间流的准确率是72.6%,这基本印证了前面说的问题,单看静态画面确实识别不好动作,这也是逐帧图片识别方法长期卡在70%左右的原因。

然后,只用时间流的准确率反而高达81.0%,比空间流高出将近9个百分点。这说明运动信息本身就比静态画面更能反映动作是什么,光流场这个设计抓对了重点。

最后,把两条流融合起来,准确率跳到88.0%,比密集轨迹的87.9%还高出0.1个百分点。虽然差距很小,但这是一个历史节点：这是深度学习方法第一次在视频动作识别任务上追平并略微超过手工设计特征的最好成绩。在2014年,这个结果的分量不亚于两年前AlexNet证明深度学习能在图片识别上超过传统方法。它证明了深度学习不是不能做视频,只是之前的做法没有真正抓住视频和图片的本质区别。

在HMDB-51数据集上,双流网络的59.4%同样超过了密集轨迹的57.2%,进一步验证了这个方法的稳定性,不是在某一个数据集上偶然走运。

这篇论文之后发生了什么

双流网络这个思路一旦被验证有效,后续的研究几乎是踩着它的脚印往前跑的。

2016年,Feichtenhofer、Pinz和Zisserman(注意,Zisserman又出现了)发表了《Convolutional Two-Stream Network Fusion for Video Action Recognition》,这篇论文指出原始双流网络的问题在于两条流融合得太晚,只在最后输出分数的时候简单相加,中间过程完全独立,没有互相交流。他们提出在网络中间层就让两条流互相传递信息,提升了融合效果,在UCF-101上把准确率进一步推高。

同样是2016年,Wang等人提出了**时间片段网络**(Temporal Segment Networks,简称TSN),这篇论文解决的是双流网络另一个隐藏的问题:原来的方法只用视频里很短的一小段片段来做判断,信息覆盖不够全面。TSN把整段视频切成若干个片段,每个片段单独跑一次双流网络,再把所有片段的结果综合起来,这样能捕捉到视频从头到尾更完整的动态信息,进一步把准确率往上推。

再往后,3D卷积网络路线(比如C3D、I3D)开始兴起,试图用一种统一的三维卷积结构同时学习空间和时间特征,不再依赖显式计算光流,这条路线后来发展出了在动作识别领域至今仍在广泛使用的一系列模型。但即便是这些后续工作,在设计思路上依然绕不开双流网络最早提出的核心洞察:视频识别必须把"是什么"和"怎么动"分开来看待和建模,这个洞察本身没有过时,只是实现方式在不断演化。

写在后面

读这篇论文最触动我的一点,是它解决问题的方式特别朴素,没有炫技的复杂结构,就是老老实实地承认"一个网络做不好两件事",然后把问题拆开。很多时候技术突破不是靠更复杂的模型,而是靠更准确地定义问题本身出在哪。

另一个值得说的细节是,论文里去看时间流卷积核学到的东西,发现网络自己学出了方向性滤波器,这个验证过程其实是在检查模型的"内心世界"是不是真的理解了问题,而不是靠蒙对了答案。这种自我验证的意识,在今天很多追求跑分的论文里反而少见了。

多任务学习这个补丁式的解决方案也挺有意思,它没有等一个更大的数据集出现,而是想办法把手头已有的资源拼起来用。这种"凑合但有效"的工程智慧,可能比完美的理论方案更贴近真实研究的样子。

Q&A

Q1：双流卷积网络是什么?

A：双流卷积网络是Simonyan和Zisserman在2014年提出的视频动作识别模型,由两条独立的卷积神经网络组成,一条处理静态画面的空间流,一条处理运动信息的时间流,最后融合两者结果来判断视频中的动作类别。

Q2：双流卷积网络的准确率比手工特征方法高多少?

A：在UCF-101数据集上,双流网络达到88.0%准确率,比当时最好的手工特征方法密集轨迹的87.9%高出0.1个百分点,是深度学习方法第一次在该任务上追平并超过传统手工特征。

Q3：光流场在双流网络里起什么作用?

A：光流场是描述视频中每个像素在连续帧之间移动方向和速度的数据,作为时间流网络的输入,让网络专门学习运动模式而不用分辨画面内容,这样能更准确捕捉动作信息,只用时间流准确率就达到81.0%,高于只用静态画面的72.6%。