2014 年,有一件让整个计算机视觉圈子都没太预料到的事。
在视频动作识别这个赛道上,一个叫深度学习的新玩意儿,第一次把统治了多年的手工特征方法按在了地上。这不是一件小事。你可以把它理解成 AlexNet 在 2012 年图像分类上掀桌子之后的连锁反应,那个震动迟到了两年,终于传到了视频领域。
有意思的是,做出这件事的两个人,卡伦·西莫尼扬(Karen Simonyan)和安德鲁·齐瑟曼(Andrew Zisserman),来自牛津大学的同一个实验室。几个月后,他们会发表另一个更出名的网络,叫 VGGNet。这两篇论文基本是同期的工作,一个管图像,一个管视频,算是一对双胞胎。
这篇论文的名字很朴素,叫做《双流卷积网络用于动作识别》(Two-Stream Convolutional Networks for Action Recognition in Videos)。
先说清楚它在跟谁打架。
第一,你得先知道视频动作识别到底难在哪。图像分类里,一张图就是一个静态的二维网格,猫就是猫,狗就是狗。但视频多了一个维度:时间。一个人做"开门"这个动作,单看某一帧,他可能只是在伸手;单看另一帧,他可能只是在推。只有把这些帧连起来看,"开门"这个动作才成立。所以问题的核心是,怎么让机器理解"运动"这件事。
第二,"运动"这个词本身就是个坑。它有两种含义。一种是画面里像素位置在变,这叫光流。另一种是场景本身在移动,比如镜头在推拉摇移。这两件事混在一起,机器很难分清,人眼却毫不费力。
*光流(optical flow):一种描述图像中每个像素点在连续两帧之间如何移动的方法,它给每个像素一个位移向量,表示"这个点从这里跑到了那里"。*
第三,在 2014 年之前,大家怎么做?靠手工特征。最有代表性的是两个方法。一个是基于密集轨迹的方法,简称 DT,后来升级成 iDT,改进的密集轨迹。另一个是费舍尔向量(Fisher Vector)编码。这些方法的逻辑是,人先想好"运动应该怎么描述",设计出一套规则去提取特征,再把特征喂给一个简单的分类器。
*iDT(improved Dense Trajectories,改进的密集轨迹):一种经典的手工特征方法,它先在视频里撒点、跟踪这些点的运动轨迹、再沿轨迹提取多种特征,最后用费舍尔向量编码成固定长度的向量。*
*iDT 在当年是公认的王者。在 UCF-101 和 HMDB-51 这两个主流数据集上,它分别能做到大约 85.9% 和 57.2% 的准确率。这两个数字在很长时间里像一道天花板,因为大家尝试了很多深度学习的方法,都没打过去。*
回头来看,这个时间点的处境很反常。图像领域深度学习已经赢麻了,视频领域深度学习却在打不过一个老方法。为什么?因为视频数据太少、太贵、太复杂。而 iDT 这种手工方法,需要的训练数据少,泛化能力强,而且它融入了研究者多年积累的先验知识。
这就是这篇论文要解决的问题。
现在进入正题。
### 第一条路:空间流,先看清"这是什么"
作者的第一招其实很朴素,朴素到有点让人意外。
他们想,既然图像分类的卷积网络这么强,那我能不能直接把它搬到视频上?方法很简单,从视频里随机抽一帧,当作一张普通图片,喂给一个已经训练好的图像分类网络,让它去判断这一帧属于哪个动作。
这就是空间流(spatial stream)。
*空间流(spatial stream):双流网络中和"时间"相对的那一路,它只看单帧图像,输入是静止的画面,负责捕捉场景、物体、外观这些空间信息。*
为什么这么设计?因为很多动作其实单看一帧就能猜个八九不离十。比如"弹钢琴",画面里有钢琴、有手在琴键上,这一帧本身就泄露了大量信息。作者管这叫"静态外观"线索。
但你可能会问,那这不就等于在图像分类吗?对,某种意义上就是。作者直接把图像分类网络(当时是类似 AlexNet 的结构)拿来用,在单帧上训练。
看看实验数据你就明白空间流有多强了。只用单帧,在 UCF-101 上,空间流单独就能做到 73% 左右。这个数字第一次出现的时候,很多人是惊讶的,因为它意味着,光是"看清这是什么",就能解决相当一部分动作识别问题。
可是,它也有明显的短板。
如果动作主要靠运动来区分,比如"把东西从左边推到右边"和"从右边推到左边",这两帧的画面内容几乎一样,空间流就懵了。它是静态的,看不到方向,看不到先后,看不到变化。
用一个日常场景来说这件事。假设你在教一个从没见过篮球的人看比赛录像。你只给他看一张照片,照片里球员双手高举、球在篮筐附近。他可能猜这人在投篮,也可能猜这人在抢篮板。单张照片信息不够。但如果你给他看连续的动作,他立刻就能判断出是投篮还是抢篮板。
这里就是那个反事实的关键:如果只用空间流,视频里所有"靠运动才能区分"的动作全都会误判。实验数据告诉我们,空间流的短板在那些强运动类动作上暴露得很明显,而补上时间流之后,整个系统的准确率从单帧的 73% 左右一路爬升到了 88%,整整多了 15 个点。
### 第二条路:时间流,让机器看清"它在怎么动"
空间流不够,那就得加一路专门看运动的。
这就是时间流(temporal stream)。
*时间流(temporal stream):双流网络中负责运动信息的那一路,它的输入不是原始图像,而是光流场,专门捕捉像素的运动模式。*
这里有个关键的设计决策,也是我觉得最值得说的地方。
作者没有直接把连续的多帧堆起来喂给网络,因为那样网络还得自己去琢磨"哪些变化是运动"。作者选择了一招更直接的:用算法先算出光流,再把光流当作图像喂进去。
你可能会问,为什么光流能当图像用?
因为光流本身就是一个"图像",只不过每个像素存的不是颜色(红绿蓝三个通道),而是位移向量。作者把光流拆成两个通道:水平方向的位移(x 方向)和垂直方向的位移(y 方向)。这样,一张光流图就变成了跟普通图片一样结构的东西,两通道的图像,可以直接扔进卷积网络。
*卷积网络(convolutional network):一种专为处理网格状数据(比如图片)设计的神经网络,它用一层层小卷积核在图像上滑动扫描,逐层提取从边缘到形状到物体的特征。*
这一招相当关键。它把"运动理解"这个问题,转化成了"图像识别"这个已经被解决的问题。可以说,整篇论文最聪明的地方就在这儿。
但光流怎么喂还有很多讲究。作者试了好几种方案。
第一种叫光流堆叠(optical flow stacking)。就是把连续几帧的光流沿着通道方向拼起来,让网络能看到运动的时间演变,因为光流本身反映的就是相邻两帧的信息。
第二种叫轨迹堆叠(trajectory stacking)。这个更讲究,它不是按像素位置拼,而是沿着每个点在整段光流里走的轨迹去采样,让同一"点"在不同帧的运动串成一条线。
实验结果很有意思:这两种堆叠方式的差距并不大,轨迹堆叠略好一点,但并没有拉开悬殊的差距。作者的结论是,只要有了光流,网络对运动的理解就已经很到位了。
还有一个细节值得说。作者发现,光流场里每个点的绝对位移数值波动非常大,这会给训练带来麻烦。所以他们做了一个"双向光流"的尝试,发现单方向就够用,最后选择给光流做了一些数值上的归一化和截断处理,让数值范围更稳定。
时间流的威力有多大?在 UCF-101 上,单独用时间流,准确率大概能到 83.7%,比空间流的 73% 高出十个百分点。
现在把这套设计和一个日常场景对应起来。
你想象自己在做手工裁剪。你要剪出一个复杂的纸样,有两个办法。第一个办法是拿一把透明描图纸,蒙在原图上,直接沿轮廓描下来,这是描摹。第二个办法是拿尺子量每个关键点的位置,再在纸上一个个画出来,这是测量。
描摹的优点是你保留的是"变化本身",线条怎么弯怎么折都在里面;测量的优点是你得到的是"精确的坐标",但过程很繁琐。
时间流的光流图,其实就接近那把描图纸:它记下来的就是运动本身的形状,谁从哪游到了哪,不需要网络再去做"逐帧比对"这种苦活。如果反过来,你让网络自己从原始连续帧里硬学运动,那就等于逼着它做测量:它得先对齐不同帧之间的像素、再推算位移、再归纳模式。这几步里,任何一步出错都会累积。作者相当于告诉网络:"别看原始帧了,运动我给你算好了,你专心识别就行。"
这中间省掉的,是网络从零开始学"什么是运动"的巨大代价。
### 两条路合并:为什么简单相加反而奇效
有了两路,怎么合?
作者试的方法很直接:把两个网络的最终分类分数(softmax 输出)取平均。
*softmax 分数:网络对每个类别给出的一个概率分布,所有类别的分数加起来等于 1,分最高的一类就是网络的预测。*
就这么简单,没有任何花哨的融合结构,没有隐层的交叉连接,就是最后的分数相加。你可能会觉得这也太粗暴了,但实验数据说明它极其有效。
在 UCF-101 上,空间流 73%、时间流 83.7%,融合之后直接到了 88% 左右。这个数字在当时是破纪录的,因为它第一次超过了 iDT 的 85.9%。
为什么简单平均能work?背后的直觉是,两路网络看的是互补的东西。空间流擅长外观(场景、物体、姿态),时间流擅长运动(方向、速度、节奏)。当它们的判断产生分歧时,平均能起到互相纠错的作用。
这里有生活化的类比,也是反事实的关键。
假设你在医院里做诊断,需要同时看两位医生的意见。一位医生专门看 X 光片,判断骨头和器官的形态;另一位专门看动态造影,判断血液和肌肉的活动。如果只用其中一位,形态异常但活动正常的病症会漏诊,或者活动异常但形态正常的病症会漏诊。把两个人的判断综合起来,对大多数病例都会更准。
但这里要小心一个细节:综合并不总是能提升,如果两位医生看的是同一套指标,那加在一起就是废话。作者的选择之所以奏效,是因为他们刻意让两路输入是不同类型的:一路是原始彩色帧,一路是光流。这种"输入层面的差异"才是互补的来源。
这个设计留下的教训至今还在用:深度学习里,"多路不同视角的信息"比"一路加大加宽"往往更值钱。
### 数据说话:多流融合到底有多强
好,现在把核心实验结果摆出来。这是论文里最关键的一张表,看它你能直观看到每一路各自的贡献。
在 UCF-101 上,两类输入的准确率是这样的。单帧空间流的准确率大约是 73.0%。单光流时间流大约是 83.7%。两路简单平均融合之后大约是 88.0%。而且作者还发现,如果用多帧平均的空间流(对每个视频抽多帧跑多次,把分数平均),性能还能再往上走一点。
在 HMDB-51 上,这个数据集的视频更短、更混乱,所以大家的方法在那里普遍更弱。空间流大约 40.5%,时间流大约 54.6%,融合之后大约 59.4%,同样超过了 iDT 的 57.2%。
这里有个值得单独说的现象。你看时间流的表现普遍比空间流高一截,尤其是在 HMDB-51 上,差距非常明显。这说明运动信息在处理短小、难识别的视频时更关键。
还有一个细节是作者的另一个关键实验。他们尝试把 ImageNet 上预训练的网络用于空间流,发现效果比从头训练好很多。这个结论后来成了行业常识:预训练加迁移,是视频领域数据不足的解药。
*ImageNet 预训练:先在 ImageNet 这个百万级图像分类数据集上训练网络,让网络学会通用视觉特征,然后迁移到目标任务上微调。相当于先上完通识课,再上专业课。*
### 后续:这条路被怎么走下去了
这篇论文出来之后,双流框架几乎成了视频动作识别的标准起点。有两个后续工作特别值得说。
第一个是 2016 年由王立民(Limin Wang)等人做的轨迹卷积网络(TDD,Trajectory-pooled Deep-convolutional Descriptors)。他们的核心改动是,把双流的深层卷积特征和传统 iDT 的轨迹提取结合起来,让特征既保留了深度网络的判别力,又保留了轨迹的精确对齐能力。在 UCF-101 上,他们把准确率推到大约 91%,比原来的双流 88% 又高了一截。
第二个是 2016 年前后的 TSN,时序分割网络(Temporal Segment Networks)。这篇工作由王立民等人提出,改动很实用:原始的双流只抽单帧或单段光流,TSN 改成把整个视频均匀分成若干段,每段抽一帧或一段光流,然后聚合所有段的预测。这样既解决了长视频覆盖不全的问题,又大幅提升了训练效率。TSN 把 UCF-101 的准确率推到了 93% 以上,成了后来很多方法的基线。
再往后,双流思路继续演化,出现了把三维卷积(3D 卷积)和时间流结合的方法、以及后来的双流变体和 I3D 等等。2015 年,I3D 把二维卷积网络在时间维度上膨胀成三维卷积,在 ImageNet 和 Kinetics 上预训练,也实现了大幅提升。
这一路走下去,你会看到一个趋势:双流的"两路"思想一直没被抛弃,被抛弃的只是"手工算光流"这个环节,后来的方法让网络自己学光流等价物。但核心的直觉,空间和时间是互补的,一直成立。
*I3D(Inflated 3D ConvNet,膨胀三维卷积网络):把在 ImageNet 上预训练好的二维卷积核在时间维度复制膨胀成三维,从而同时处理空间和时间信息的一种网络结构。*
### 写在后面
我读完这篇论文,最直接的感受其实是关于"偷懒"这件事。
你看双流网络的核心操作,本质上是在往网络里"作弊"。它不逼网络从像素里自己推导运动,而是提前用外部算法把光流算好再喂进去。这种做法在今天的深度学习叙事里听起来有点不"端到端",甚至会被人批评说不够优雅。但恰恰是这个偷懒的设计,在 2014 年的数据条件下,让深度学习第一次赢过了手工方法。
这就引出一个值得追问的问题。我们整天说端到端学习更强大、更高级,但这个例子告诉我们,在算力和数据不够的时候,"给网络塞进正确先验"反而可能是更有效的路。这么多年过去了,光流计算这个环节后来被网络学会了,但那是算力和数据都翻了好几倍的 2019 年之后的事。这算不算一种历史的反讽,好的先验最终还是被数据加算力给替换掉了,只是替换它的不是理论推演,而是时间和资源。
还有个小细节我很喜欢。作者在论文里花了相当篇幅,老老实实对比了光流堆叠和轨迹堆叠两种方案,最后结论是两者差不多。这种"试了发现没差别"的诚实,在今天的论文里其实不常见。大家更倾向于把一个细微提升包装成重大突破。这篇论文那份朴素,反而让人觉得可信。
最后一个开放的问题。双流框架需要同时跑两个网络和一个光流算法,代价不低。它诞生在一个"识别精度至上"的年代,可如今视频理解越来越走向实时、走向手机端,这种两路架构是不是有点重了?后来的 TSN、I3D 在一定程度上都在减负,但"要不要算显式运动"这个选择,至今没有定论。这大概是每一个做视频的人都会反复问自己的问题。
Q&A
Q1:双流卷积网络是什么?
A1:双流卷积网络是 2014 年牛津大学提出的视频动作识别方法,它由两路网络组成,一路看单帧图像识别场景和物体,一路看光流场识别运动,两路最后融合成一个判断结果。
Q2:双流卷积网络比之前的方法强在哪?
A2:之前最强的 iDT 方法在 UCF-101 上大约 85.9%,双流网络融合后达到约 88%,第一次让深度学习在视频动作识别上超过手工特征方法。
Q3:双流卷积网络为什么能赢?
A3:因为它让空间流负责外观信息、时间流负责运动信息,两路输入互补,最后分数平均,能互相纠错。而且它把运动理解转化成了图像识别,让成熟的卷积网络直接派上用场。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。