从脑电波里"听"出你在听什么：一个能被拆开看懂的speech解码器

2023年，一支法国团队做了一件听起来像科幻片的事：让一个深度学习模型戴上你的脑电帽子，只看三秒钟的脑磁信号，就能从一千多段候选音频里，准确挑出你正在听的那一段。准确率超过40%。

这事本身没什么可怀疑的，论文发在《自然·机器智能》上，数据摆在那儿。但紧接着一个问题冒出来了：模型到底是怎么做到的？

它看的是大脑里哪个区域？它捕捉的是声音的什么特征,是音量变化、是元音辅音、还是某种更抽象的语言结构?没人知道。那个网络训练完之后,权重矩阵里全是密密麻麻的数字,没有一个神经科学家能指着某一行说"这是听觉皮层"。

这就像你雇了一个占卜师,他每次都能准确说出你钱包里有多少钱,准确率还挺高。你很惊讪,但你完全不知道他是怎么算出来的:是看你走路的姿势、还是闻到了什么味道、还是纯粹蒙的?如果不知道原理,这个占卜师的"神技"就只是一个黑箱表演,你无法信任它,也无法在此基础上继续往前走一步。

俄罗斯高等经济大学（HSE）的Ilia Semenkov团队,就是想把这个占卜师的脑子打开看看。

一个绕不开的矛盾

深度学习决策脑科学这件事上,一直卡在一个死结里。

一边是经典的脑电研究方法,它靶向明确、结果可信,但只能处理简单的对照实验。给被试听一句包含名词的句子,再听一句不含名词的,比较两种情况下脑区激活的差异,这种设计干净漂亮,却完全应付不了连续自然的语流。真实说话是连续不断的声学流,没有整齐的实验条件可供对比。

另一边是深度网络,它能直接在自然语音数据上硬train一个高难度的检索任务,效果惊人,但换来的是一堆无法解读的权重。

**这篇论文想做的事情,是把这两条路的优点捏合在一起:既要有深度学习的强大表现力,又要让训练完的网络交出一份"体检报告",告诉我们它到底用了大脑的哪些区域、哪些频段的信号。**

这不是一件容易的事。因为一旦你给网络加上各种物理约束,逼迫它按照大脑的构造和信号传播规律来设计内部结构,通常意味着牺牲一部分建模能力。这篇论文的核心悬念,就是能不能在不掉分的情况下做到这件事。

先说结果:能。而且掉分掉得很少。

从MEG信号说起:大脑怎么被"测"出来的

要理解这篇论文在做什么,得先明白脑磁图（MEG）到底测的是什么。

MEG(磁脑图)：一种非侵入式脑功能测量技术,通过头皮外的传感器阵列检测大脑神经活动产生的微弱磁场,时间分辨率能到毫秒级,覆盖全头。

当大脑皮层里一片朝向一致的神经元同步放电时,它们的电流叠加起来,可以近似看作一个等效电流偶极子(想象成一个微型电磁铁),这个偶极子的位置、朝向和强度随时间变化,产生的磁场穿过头皮,被MEG传感器捕捉。问题在于,MEG测到的永远是几百个传感器上叠加了所有大脑活动的混合信号,你无法直接看出这个信号究竟来自哪片脑区。

这就好比你站在一栋写字楼外面,想知道楼里第几层的哪个房间开了空调。你能感觉到楼外的整体温度变化,但那是所有房间空调共同作用的结果,你没法凭一个温度计的读数反推出具体是哪个房间。如果你只测一个点的温度,信息就永远混在一起,分不开。而MEG面对的问题更复杂:楼里同时有上百个房间在开关空调,还有电视机、冰箱这些"噪音源"也在散热,你必须从混杂信号里把目标房间的贡献单独挑出来。

这个"挑出来"的动作,在信号处理里叫空间滤波。

空间滤波器：一组权重,应用在多通道传感器数据上,目的是增强目标脑区信号、压制其他脑区和噪声的贡献,相当于给传感器阵列装上一个"聚焦镜头"。

经典方法里,想找到某个滤波器,你需要知道目标源的位置(通过头部解剖结构算出的正演模型),或者用统计方法从数据里估计。深度学习的做法更直接粗暴:让网络自己学一组权重,只要这组权重能让最终的分类或回归任务表现更好,就算成功,不管这权重对应大脑的什么位置。

这就是问题所在。网络学出来的空间滤波器,权重是纯粹为了任务服务的,可能完全不对应任何生理意义上的"源"。

关键的理论修正:空间滤波和时间滤波不能分开看

这篇论文站在了另一支团队(Petrosyan等人)几年前的工作基础上。那支团队指出了一个此前所有紧凑型脑电解码网络都忽略的问题。

很多轻量级网络架构,比如EEGNet、ShallowConvNet,都采用"先空间滤波、再时间滤波"的分离式设计,这种设计天然贴合大脑信号的物理生成过程:某个频段的神经活动经过空间传播到达传感器。但早期的解读方法犯了一个错误,它们把空间滤波器单独拿出来解读,当成"这就是源的位置",完全没考虑空间滤波器和时间滤波器是在训练过程中同时调整、相互影响的。

打个比方,如果你想通过一张滤色片和一层磨砂玻璃共同看清楚窗外的景色,你不能只研究滤色片单独挡住了什么颜色,因为磨砂玻璃同时在模糊图像,两者是配合工作的。你必须把它们看作一套组合镜片来分析,单独拆开研究任何一片都会得出错误结论。如果只看空间滤波器、忽略时间滤波器的贡献,你算出来的"源位置"可能完全是错的,因为时间滤波器已经把某些干扰源的信号滤掉了,而这部分"过滤功劳"你却算到了空间滤波器头上。

Petrosyan团队推导出了一套联合考虑两者的数学公式,能够从训练好的权重里,反推出更靠谱的空间模式(对应大脑里的位置和朝向)和时间模式(对应神经活动的节律特征)。这篇论文把这套方法,第一次用到了处理自然语音、跨越27名被试的大规模MEG数据集上。

网络架构:每个"分支"对应一个假想的神经源

这篇论文管这套架构叫LISA,整个前端设计成一组"分支"(branch),每个分支被设计成专门去匹配一个特定的神经源:它有自己的空间指向(对应大脑里的某个位置),也有自己的时间滤波特征(对应某个频段的节律)。

具体拆开看,信号先经过一层三维球谐函数空间注意力。

球谐函数：一种定义在球面上的数学基函数,类似傅里叶变换在球面上的版本,适合描述分布在球状表面上的信号模式。

为什么用球谐函数而不是原来那篇奠基性论文(Défossez等人)用的二维傅里叶函数?因为MEG传感器阵列大致排布成一个头盔形状,是三维近似球面的结构,而不是一张平面。如果强行把三维的传感器位置压扁投影到二维平面上再做傅里叶分解,这就像把地球表面硬压成一张世界地图,靠近两极的区域会被拉伸变形,原本相邻的点在投影后变得很远。球谐函数天生就是为球面信号设计的基函数,不需要做这种扭曲的投影。实验也证实了这个选择的价值:去掉整个注意力层,准确率掉4到5个百分点;把三维球谐换成二维傅里叶,还要再掉大约1个百分点。

这一层之后,信号经过一次共享的1x1卷积做通道混合,再经过针对每个被试单独训练的投影矩阵,把270个虚拟通道压缩到仅仅K=25个分支。这个数字不是随便定的,后面会讲到,25恰好落在一个性能"平台"的甜蜜点上。

每个分支后面,还挂着一个15个采样点(150毫秒)长的可训练时间滤波器,这个滤波器是逐分支独立训练、但跨被试共享的。

这套"空间收窄到25个分支+每个分支自带时间滤波"的设计,本质上是在强迫网络遵守一个假设:大脑里真正对解码任务有用的神经源数量是有限的,而且每个源都有自己独特的时间动态特征。这既是一种物理约束,也是一种赌注,赌的是"任务相关的信息确实压缩在一个低维子空间里"。

25个分支就够了,270个反而更差

这个赌注押中了吗?论文用一组扫描实验回答了这个问题。

结果显示,当分支数K从1开始逐渐增加,准确率一开始飙升得很快,K只有几个的时候网络严重"憋屈",信息容量不够用。但涨到K=10到25之间,曲线就趴平进入一个宽阔的高原区。再往上涨,涨到几百个分支,准确率不但不涨,反而开始缓慢下滑。

这个现象很有意思。如果分支数纯粹只是"模型容量"的代表,那么理论上分支越多能装的信息越多,表现应该单调上升或者至少持平,不应该下降。但曲线在K=270的地方明显掉了下来,这说明任务相关的信息压根就不需要270个维度去承载,多出来的维度反而变成了难以正则化的冗余自由度,拖了后腿。

这就好比你要给一个储物间收纳,储物间真正要放的东西也就20来件,但如果你非要造100个格子去装,多出来的80个格子不会让收纳变得更整齐,反而会因为格子太多、东西分散,让你更难找到东西,收纳效率反而下降。

论文的对照实验也证实了这一点:把分支数拉到270、卷积层堆到5层(这个配置在分支数和深度上最接近原始论文Défossez等人的设置),参数量暴涨到720万个(是主模型的14.8倍),但Top-1准确率反而比主模型低了3.6个百分点。**用更少的参数拿到更好的效果,这个结果直接颠覆了"越大越强"的直觉。**

权重变回大脑地图:听觉皮层、额叶都亮了

分支数定下来后,下一个问题是这25个分支到底对应大脑里的哪些位置。

论文把27名被试、每人25个分支的空间滤波器全部拿出来,一共675个,统一投影到一个模板大脑(fsaverage)的皮层表面上,然后用奇异值分解(SVD)提取出最主要的10个模式,再用一种叫RAP-MUSIC的算法去反推这些模式对应的等效电流偶极子位置。

RAP-MUSIC：一种源定位算法,通过递归地在候选脑区中寻找与已知信号子空间相关性最高的位置,逐步"剥离"已识别的源,直到找出全部主要神经源。

结果显示,这些偶极子聚集在双侧听觉皮层、内侧颞叶和额叶。这个分布跟经典语音感知研究里描述的网络高度吻合,双侧听觉皮层负责处理声学信号本身,额叶区域常和语言的预测加工、句法处理相关联。

更细致的聚类分析把675个分支模式划分成49个簇,取出最大的12个簇仔细看,发现它们大致归为三类位置:第一类沿着上颞叶回和上颞平面分布(听觉皮层核心区),第二类往后延伸到边缘上回和中央沟附近(涉及语音的运动和感知整合),第三类落在左侧额叶盖部和邻近的额下回,以及更靠前的中颞、下颞区域(可能涉及语言的预测加工和语义整合)。

这三类位置,恰好对应了语音感知"双流模型"里描述的通路结构。

双流模型（dual-stream model）：一种描述语音处理神经通路的理论框架,认为语音信息沿着两条路径处理,一条负责将声音映射到意义(腹侧流),另一条负责将声音映射到运动发音(背侧流)。

左右脑的节奏不一样:一个跟"不对称时间采样"理论撞上的发现

聚类分析里还冒出一个意外的细节:左脑和右脑分支的频谱特征长得不一样。

左脑侧化的分支,时间模式里能看到两个成分:一个是10赫兹以下的慢峰,另一个是13.3赫兹左右的较弱峰。右脑侧化的分支则基本只有一个低频单峰,能量集中在6.6赫兹附近。

这个差异不是孤立的巧合。神经科学家Poeppel早在2003年就提出过一个叫"时间不对称采样"的理论,认为左右两侧听觉皮层用不同长度的时间窗口整合信息:左侧偏向短窗口,适合捕捉快速的声学转换(比如辅音的爆破);右侧偏向长窗口,适合追踪缓慢的语调和韵律结构。后续的实证研究(Boemio等人2005年的工作)也支持这个划分,发现更慢速调制的信号更倾向于驱动右侧高阶听觉皮层。

论文观察到的现象,恰好和这个几十年前提出的理论预测方向一致:携带额外快速成分的分支,主要集中在左脑。这不是论文刻意去验证的假设,而是从网络训练出来的权重里"意外"浮现出的规律,某种程度上说明这个网络学到的东西,不是瞎编的统计巧合,而是真实映射了大脑处理语音的某种既有分工。

不过论文自己也留了个心眼:15个采样点的滤波器长度,频率分辨率大约只有6.7赫兹,分辨率有限,这个左右脑差异需要更长的滤波器做进一步验证。

掐灭还原,追问网络到底"用"了什么信息

搞清楚信息来自大脑哪里,只是故事的一半。另一半问题是:这些信息对应到语音本身的哪些属性?是音量、是停顿、是某个具体的音素,还是句子的语义结构?

这篇论文设计了一种叫"配对MEG替换"的实验方法来回答这个问题。

思路是这样的:先圈定一个语音特征,比如"静音段"。找到测试集里包含静音的窗口,把这段MEG信号替换成来自另一个真实静音片段的MEG(这叫"特征保留"替换),再单独做一次替换,换成来自"非静音"片段的MEG(这叫"特征剔除"替换)。两种替换用完全相同的操作流程(相同的时长、相同的被试来源、相同的边缘渐变处理),唯一的区别是替换进来的donor片段本身有没有这个特征。

然后比较这两种替换分别对检索排名造成的影响。如果剔除掉某个特征相关的MEG信息,让正确答案的排名明显变差(相比只是替换但保留特征的对照组),说明网络确实依赖这个特征相关的神经活动来完成检索。

这个设计精妙之处在于,它把"替换本身带来的损伤"和"特征信息缺失带来的损伤"分开了。如果你直接拿原始信号和替换后的信号比,你根本不知道排名变差是因为"丢了特征信息"还是单纯因为"信号被换了一段、边界处不自然、被试特定的活动丢失了"。而这篇论文设计了一个巧妙的对照组:两种替换用的操作完全一样,唯一变量是donor片段是不是带着目标特征,这样任何差异就只能归因于特征信息本身。

这就像你想知道一份菜里的辣椒到底对味道贡献了多少。如果你直接做一份有辣椒的菜和一份没有任何调料的白水煮菜相比,这个对比毫无意义,因为差异太多了,盐、油、火候全变了。正确的做法是做两份菜,一份换成辣椒糊,一份换成同等分量的番茄糊,其他所有操作(下锅顺序、火候、搭配的其他调料)完全一致,这样尝出来的味道差异才能真正归因于"辣椒"这个变量本身,而不是别的什么操作差异。

19个特征逐一检验:静音、音量、元音是三大王牌

论文一共测试了19个候选特征,横跨从基础声学到高级语言学的各个层次:静音相关的四个二元特征(完整静音段、静音起点、静音终点、静音边界),七类音素特征(元音、塞音、擦音、齿龈擦音、鼻音、流音/半元音、弱化音),词汇起始点,两种打乱叙事结构的特殊插入(伪词和乱序词表),以及三个连续型语言学特征(词语惊异度、预测熵、词频)和两个连续型声学特征(音量、声学起始强度)。

结果显示,19个特征里有15个通过了严格的统计检验(经过多重比较校正的显著性检验,p<0.05),证明网络确实依赖这些特征相关的信息。

效应最大的四个特征依次是静音、高音量、元音、强声学起始点,它们的排名差异(用来衡量效应大小的指标)分别是75.62、60.77、38.70和36.19,在27名被试身上都是一致的正向效应。这说明网络最依赖的,还是最基础的声学状态信息,声音有没有响、够不够大、变化有多快。

其次是音素层面的信息,擦音、塞音、齿龈擦音都有显著但相对温和的效应(12.80、9.27、7.94),这部分对照用的是"其他音素类别",排除了简单地把语音替换成静音的解释,说明网络确实对具体的音素身份有敏感度。

语言学层面的效应更加挑剔。高惊异度的词(网络预测这个词出现概率很低,也就是这个词让人"意外")有明确的正向效应(7.34),伪词插入也有较小但显著的效应(1.71)。但预测熵、词频、静音起点这几个特征没有通过检验,说明网络不是对所有和"意外性"或"信息量"相关的特征都敏感,它挑得很精。

乱序词表的反常结果:说明结构比单词更重要

最出乎意料的发现,出现在"乱序词表"这个特征上。

数据集里有一类特殊插入片段,把之前大约五分钟叙事里出现过的单词随机打乱顺序重新念出来,单词本身是听过的,但句子结构和叙事逻辑完全消失了。

按照直觉,这种语义不连贯应该会触发额外的神经反应(类似经典的N400效应,专指大脑碰到语义不匹配时产生的一种特征性脑电波),这份"意外"应该给检索模型提供额外可用的信息才对。

但实验结果恰恰相反:排名差异是负的(-17.77)。也就是说,如果把乱序词表片段的MEG信号,替换成正常连贯叙事片段的MEG信号,检索效果反而变好了。这说明连贯叙事期间产生的脑活动,携带的可恢复信息,比乱序词表期间产生的脑活动更多。

论文给出的解释思路很有意思:数据集里有两种"扰乱"插入,伪词和乱序词表,性质完全不同。伪词是在正常句子里塞进一个不存在的假词,它违反的是"周围句子已经建立起来的预期",这是一种局部的意外。乱序词表则是把预期建立的基础本身拿掉了,叙事结构没了,大脑没法基于上下文去预测下一个词会是什么。

正是这个区别造成了结果的分裂:伪词有个小小的正向效应(违反预期本身产生了额外可用的脑活动),乱序词表却是负向效应(丢失了追踪连贯语流所需的预测结构)。

这个发现和已有文献里"当句子和叙事结构被移除时,语言特征的神经追踪会减弱"的报告是一致的。用一个比喻理解,追踪连贯的话语,就像跟着一支训练有素的合唱团听指挥打拍子,拍子清晰、节奏可预测,你的大脑很容易跟上并产生规律的响应;而乱序词表更像是一群人各念各的单词、没有指挥、没有共同的节奏,即便每个字你都听懂了,你的大脑却抓不住一个统一的追踪节奏,产生的神经活动因此更散乱、更难被外部读出。

目标embedding不需要全部768维,12维就够

论文还做了一组压缩实验,探究wav2vec目标表示到底需要多少维度才够用。

wav2vec 2.0：一种自监督预训练的语音表征模型,能把原始音频波形转换成高维的特征向量序列,常被用作语音理解任务里的通用音频表示。

wav2vec的原始特征是768维的。论文测试了两种降维方式:一种是无监督的PCA(只保留原始特征里方差最大的几个方向),另一种是有监督的可学习线性投影(跟检索任务一起联合训练,让网络自己挑最有用的维度)。

结果非常清楚:如果用联合训练的可学习投影,把768维压缩到只有8到256维之间的任意一个值,准确率几乎不受影响,压到12维时,准确率还是接近满分。但如果用PCA做无监督压缩,维度降到中等或较低时性能就明显掉队。

这说明wav2vec特征里,方差最大的那些方向(PCA优先保留的部分)并不等同于MEG真正能解码出来的方向。真正有用的信息藏在一个紧凑的、任务特异性的子空间里,这个子空间只有通过带着监督信号的训练才能找到,单纯统计方差大小是找不到的。

这就好比你想从一段冗长的会议录音里提取出真正对决策有用的关键信息。如果你按"音量大小"排序去挑内容,可能挑出来的都是有人拍桌子、咳嗽或者笑声,这些声音响,但对决策毫无意义。真正关键的信息可能藏在某个人用平静的语气说的一句话里。你需要带着"这段话对结果有没有帮助"这个目标去筛选,而不是单纯按响度这种无监督的统计指标去筛选。

但时间轴上的压缩就完全是另一个故事。如果把3秒的音频轨迹压缩成一个全局的池化向量(不管是均值池化、最大池化还是注意力池化),检索准确率直接崩到接近随机水平。这说明特征维度上有冗余可以砍,时间维度上的轨迹信息却是刚需,不能用一个笼统的"总结"替代。

拆掉每个零件看看少了它会怎样

最后,论文对整个架构的各个组件做了系统性的拆解实验(ablation study),逐一移除某个模块,看看性能掉多少。

结果显示,影响最大的是被试特定的空间映射层。如果去掉这层,让所有被试共用同一套空间投影,性能暴跌。这个结果不难理解:每个人的头骨形状、传感器和大脑的相对位置都不一样,同样的脑活动在不同人身上产生的传感器信号模式是不同的。如果只用一套共享的映射,网络要同时解决"对齐不同被试"和"提取任务相关信息"两个任务,这对单一线性变换来说太苛刻了。

去掉整个空间注意力层,损失4到5个百分点。把三维球谐注意力换成二维傅里叶版本,损失约1个百分点。把15个采样点的时间滤波器换成只有1个采样点的版本(相当于没有时间上下文,只是逐通道缩放),同样带来明显损失。

去掉共享的1x1混合卷积层,也带来可观测的下降,虽然不如去掉被试特定映射那么剧烈。

这些拆解实验拼在一起,验证了整套设计思路的合理性:共享的几何感知空间投影负责先对齐大致的空间结构,混合层负责精炼这个共享表示,被试特定映射负责吸收个体差异,时间滤波器负责给每个分支加上局部的时间选择性。少了任何一环,整体表现都会打折扣,但这套约束并没有让准确率牺牲太多,同时换来的是一个可以被读懂的网络。

表格:核心实验数据一览

| 配置 | 分支数K | 卷积块数 | 参数量 | Top-1准确率 | Top-10准确率 |

|---|---|---|---|---|---|

| 更小分支空间 | 15 | 2 | 380,769 | 39.51% | 70.23% |

| 学习型12维目标 | 25 | 2 | 427,651 | 39.95% | 70.54% |

| 无卷积块 | 25 | 0 | 471,219 | 36.76% | 67.37% |

| **主模型** | **25** | **2** | **486,619** | **40.01%** | **70.60%** |

| 五个卷积块 | 25 | 5 | 509,719 | 39.06% | 69.82% |

| 最接近原论文容量 | 270 | 5 | 7,210,224 | 36.41% | 67.46% |

| Défossez等人原论文 | 270 | 5 | 9,565,054 | 41.30% | 70.70% |

从这张表能看出,主模型用不到50万参数,达到的效果和用近千万参数的原始架构基本处在同一水平线,某些配置下甚至更优。参数量差了近20倍,效果却几乎不打折扣。

Q&A

Q1：LISA模型解码语音的准确率有多高？

A：在MEG-MASC数据集上，LISA模型能从1005个候选音频片段中，以39.75%的Top-1准确率和70.4%的Top-10准确率找出正确的那一段，同时使用的参数量比此前同类模型少了约20倍。

Q2：为什么要提前去除眼动和心跳信号？

A：因为眼动会跟随语言结构和注意力变化，心跳节律也和叙事强度相关，这些外周生理信号可能带有和语音同步的信息，如果不去除，网络可能会走捷径去学习这些无关信号，而不是真正解码大脑皮层的语音处理活动。

Q3：随机打乱顺序的单词列表为什么反而让解码效果变差？

A：因为乱序词表破坏了句子的叙事结构，大脑失去了预测和追踪连贯语流所需的上下文支撑，导致产生的脑活动信息量反而比听正常连贯叙事时更少，这和网络的直觉预期恰好相反。