微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 当AI听不懂"嘈杂世界"的时候:一套不用训练、9毫秒搞定的降噪魔法

当AI听不懂"嘈杂世界"的时候:一套不用训练、9毫秒搞定的降噪魔法

2026-08-26 14:40
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-08-26 14:40 科技行者

你有没有想过这样一个场景:一个语音识别系统被训练得非常聪明,能听懂"狗叫"、"汽车鸣笛"、"儿童玩耍"这些声音,可一旦把它扔进真实世界,比如嘈杂的地铁站、车水马龙的街道,它就突然变得像喝醉了一样,把汽车鸣笛认成引擎空转,把狗叫认成完全不相关的东西。

这不是危言耸听。研究团队做过一个实验,把信噪比(也就是有效声音信号相对于背景噪声的强弱比例,数值越低说明噪声越压过了想识别的目标声音)降到 -6 分贝的极端情况下,一个原本表现不错的音频文本模型准确率直接从 78% 崩到了 32.69%。这意味着什么?意味着在这种噪声环境下,机器识别十次错七次,比抛硬币猜还不靠谱。

这就是这篇论文要解决的问题。而更让人意外的是,它给出的解法,既不需要重新训练模型,也不需要用户提供任何"这是什么噪声"的提示,整个适应过程在单个样本上只需要 0.0009 毫秒,比人眨一次眼快了几十万倍。

现有方法为什么都不好使

先说说这个领域此前是怎么应对噪声的,你会发现每一条路都堵着一堵墙。

第一条路是所谓的梯度式测试时适应(TTA)方法,比如经典的 TENT,它的思路是在推理阶段,通过让模型对自己的预测更"自信"(也就是最小化输出的熵)来悄悄调整参数。

熵*:在这里可以理解成模型预测的"混乱程度",熵越低说明模型越坚定地选一个答案,熵越高说明模型犹豫不决、各个选项概率差不多。

TTA*:全称 Test-Time Adaptation,指的是模型在真正拿到测试数据、还没见过标签的情况下,现场调整自己以适应新环境的一类方法。

问题是,当噪声本身已经淹没了目标声音时,让模型"更自信"反而是在教它更坚定地相信噪声本身。论文里有个扎心的数据:在他们的实验中,标准熵最小化和什么都不做的零样本基线几乎打平,都在 58.8% 左右。换句话说,这种自我强化的适应策略在极端噪声下基本失效了,不仅没有帮上忙,反而白白消耗了大量计算资源做梯度反向传播。

这就好比一个人在嘈杂的酒吧里努力听清朋友说话,越听不清楚,反而越坚信自己听到的就是对的,结果把"我要回家"误听成"再来一杯",还越猜越自信。如果这个人换一种策略,先冷静下来看对方的口型、手势这些"额外线索"再判断,效果可能完全不同。这正是后面这篇论文想做的事。

第二条路是提示词调优类方法,比如 Test-Time Prompt Tuning。这类方法会动态调整输入给模型的文本提示,试图让文字描述去"贴合"被污染的声音。但这里有个致命前提:它需要知道当前是什么类型的噪声,也就是所谓的"特权噪声标注"。

这在真实场景里几乎不可能实现。你的手机麦克风录到一段嘈杂的音频,你怎么可能提前告诉系统"这是地铁站噪声"还是"这是工地噪声"?如果系统需要这种信息才能工作,那它压根就没法真正部署到边缘设备上。论文里提到的 ContextDA 就是这一类方法的代表,它依赖预先设定好的噪声类型提示词,属于"作弊式"的对照基准,用来衡量理想情况下能做到多好。

第三条路是静态几何对齐方法,比如直接用协方差白化或者线性投影,把噪声当成一个固定不变的整体偏移去修正。这条路的问题也很直观:每个环境的噪声特性都不一样,机场的噪声和地铁站的噪声、公园的噪声,它们对声音嵌入空间造成的扭曲方向和强度完全不同。用一个放之四海而皆准的固定修正矩阵,注定是刻舟求剑。

三条路都走不通,那问题到底出在哪?

论文作者认为,真正的瓶颈不是分类器本身出了问题,而是声音和文字被编码进同一个数学空间之后,这个空间的几何结构被噪声扭曲了。

而这种扭曲,是可以被建模、测量、并且逆转回去的。

仿射噪声假设:一个大胆但被数据证实的猜想

要理解 PRISM 这个方法的核心创新,得先搞懂它提出的一个基础假设,论文管它叫仿射噪声假设。

先解释一下背景。像 CLAP 这样的音频文本基础模型,会把声音和对应的文字描述都投射进同一个高维空间里,让语义相近的声音和文字在空间里的距离也相近。

CLAP*:全称 Contrastive Language-Audio Pretraining,一种通过对比学习把音频和文本编码到同一个语义空间里的模型,能够直接用文字描述去匹配声音内容,无需专门训练分类器。

在干净的录音环境下,这套匹配机制工作得很好。但当背景噪声非常强的时候,声音的嵌入向量(也就是声音在这个数学空间里对应的坐标点)会被"拽"向噪声本身所在的区域,导致原本该匹配"狗叫"的坐标点,现在更靠近"背景噪音"这个概念,系统自然就判断错了。

那么问题来了:这种"被拽走"的过程,到底是杂乱无章的,还是有某种规律可循的?

研究团队做了一件很朴素但很关键的验证实验。他们拿同一段音频的干净版本和加噪版本,分别计算出各自的嵌入向量,然后做减法,得到一个"噪声导致的偏移量"。接着,他们把这些偏移量收集起来做奇异值分解(SVD)。

SVD*:一种矩阵分解技术,可以把一个复杂的矩阵拆解成若干个方向(叫作奇异向量)和这些方向上的强度(叫作奇异值),奇异值越大说明这个方向承载的信息越重要。

结果非常一致:在街道交通、机场、公园、地铁四种完全不同的声学环境下,噪声偏移的能量分布曲线几乎重合,前 5 个主要方向就集中了绝大部分能量,之后急剧下降,形成一个明显的"拐点",此后长长一条尾巴几乎贴着零线。具体数字是,前 60 个主成分方向就集中了超过 90% 的失真能量。

这个发现意味着,尽管噪声通过复杂的神经网络编码器产生了看似混乱的影响,但它在嵌入空间里留下的痕迹其实是低秩的(也就是可以用远少于总维度数的几个方向就描述清楚)。

低秩*:指一个高维度的变化,实际上可以用少数几个"主方向"就基本描述完整,剩下的维度贡献很小,可以近似忽略。这类似于一张看起来很复杂的照片,其实主要信息集中在几条粗线条上,细节反而没那么关键。

基于这个观察,论文提出:噪声对嵌入空间的破坏,可以用一个旋转加平移的仿射变换来近似描述,用公式表示就是 e' ≈ Re + Δ_noise,其中 R 是一个旋转矩阵,Δ_noise 是一个平移向量。

仿射变换*:数学上指由线性变换(比如旋转、缩放)加上一个平移组成的变换,想象你把一张纸先转个角度,再往某个方向挪一挪,这整个操作就是一个仿射变换。

这个假设为什么重要?因为如果它成立,那意味着我们根本不需要用梯度下降去慢慢"训练"模型适应新噪声,只需要找到这个旋转和平移,把它反过来做一次,就能把被噪声污染的嵌入向量"拉回"它原本该在的干净位置。

这就像一张被人不小心撞歪了的相框。如果它只是简单地被撞歪了角度、往旁边挪了挪位置,你根本不需要重新做一个相框,只要找准歪的角度和挪动的方向,反着推回去就行了。但如果相框被撞得支离破碎、每个碎片都随机散落在完全不同的方向,那这种"反向推回"的思路就彻底失效了,你只能重新做一个。仿射噪声假设的价值就在于,它证明了大多数情况下,噪声造成的破坏更接近"撞歪的相框",而不是"支离破碎的碎片"。

PRISM 到底是怎么工作的:三招连环拆解

搞清楚了理论基础,接下来看看 PRISM(全称 Prototype-Rectified Iterative Self-supervised Manifold Denoising,原型校正的迭代自监督流形去噪)具体是怎么落地实现这套"反向推回"的。

整个框架分成两个阶段。第一阶段是校准阶段,需要拿到一批(哪怕是没有标签的)噪声音频样本,通过几步几何运算算出一个修正矩阵。第二阶段是推理阶段,这个矩阵一旦算好就固定下来,之后每来一个新样本,只需要做一次矩阵乘法就能完成修正,不需要再看任何批次数据,真正做到了逐样本、批次无关的快速适应。

### 第一招:正交普鲁克跨模态对齐(OPCA)

第一步要解决的是全局性的方向偏差问题。

论文的思路是,虽然我们没有干净的音频标签,但我们有一样东西是"干净"的,那就是文本提示词编码出来的原型向量。比如"狗叫的声音"这句话对应的嵌入向量,是不会被噪声污染的,因为它压根不经过声音编码器。

文本原型*:把每个类别对应的多个文字描述模板(比如"这是一段……的声音"、"一段关于……的音频")分别编码后取平均得到的向量,代表这个类别在语义空间里的"标准坐标"。

于是,OPCA 的策略是,先用当前的噪声嵌入去猜一遍每个样本属于哪一类(生成伪标签),只保留猜得比较有把握的那些样本(置信度前 80%),然后计算这些样本的音频中心点和对应类别的文本原型中心点之间的关系,用一种叫正交普鲁克问题的经典数学方法,求出一个最优的旋转矩阵,把音频流形整体旋转对齐到文本原型所在的方向上。

正交普鲁克问题*:一种经典的数学优化问题,目标是找到一个旋转矩阵,让两组对应点在旋转之后的距离尽可能小。这里用来把"跑偏"的音频嵌入云团,整体旋转对准文本原型所在的方向。

有意思的是,论文特意强调只做一轮这个旋转操作,不能多做。作者发现如果反复迭代这个旋转步骤,置信度高的样本会过度收缩、直接"贴"到文本原型上,反而破坏了后续步骤需要依赖的类内几何结构,实测多次迭代平均会拉低 1.24 个百分点的准确率。

这个细节挺值得琢磨的。它说明纠偏这件事不是"越多越好",过犹不及是真实存在的现象,就像纠正一个人的坐姿,轻轻推一下让他坐正就够了,如果反复用力去按,反而可能把人按变形。

### 第二招:类别条件方差压缩(CCVD)

解决了整体方向偏差之后,还剩下一个更细微的问题:同一个类别内部的样本,因为受噪声影响程度不同,散布得比较乱,这种散布很大程度上也是噪声造成的。

这一步用到了一个叫费舍尔线性判别分析的经典统计工具。

费舍尔线性判别分析*:一种统计方法,用来找出能最大程度区分不同类别、同时让同类别样本尽量集中的方向。这里反过来用它去识别"类内差异很大但对分类没帮助"的方向,因为这些方向恰恰更可能是噪声造成的。

具体做法是,先筛出置信度比较高的样本子集,分别算出类内散布矩阵和类间散布矩阵,再求解一个叫费舍尔比值矩阵的逆问题,找出那些"类内差异特别大、但类间区分度不高"的方向,这些方向被认定为噪声主导的方向,直接从嵌入空间里投影掉,只保留正交补空间的部分。

论文设定这里保留 60 个维度作为"噪声子空间",这个数字不是随便定的,正好呼应了前面 SVD 分析里发现的 60 维承载 90% 能量的观察结果。

### 第三招:逐类残差平移

前两步做完之后,理论上大部分几何偏差已经修正了,但仍然可能留有一些残余的、按类别区分的位移。第三步就是针对每个类别,把该类别的样本朝着对应的文本原型方向再轻轻推一把,推的力度由一个叫 α 的参数控制,默认值是 0.3,属于比较保守的设定。

这里有个技术细节值得一提:这个平移操作是在嵌入向量本身上做的,而不是在最后输出的相似度分数(也就是逻辑值)上做的。原因很简单,因为后续会对嵌入向量做归一化(把向量长度统一缩放到 1),如果平移是加在逻辑值上,归一化会把这个平移的效果直接抹掉。这是个容易被忽略但很关键的工程细节。

### 压轴一招:仿射偏差回归(ABR),把三步压缩成一个矩阵

前面三步做完,我们得到了修正后的目标嵌入,但这时候修正过程还依赖着当前这批测试数据,还没有变成一个可以直接套用在未来任意一个新样本上的固定规则。

ABR 要做的事,就是把前面三步累积产生的所有修正效果,用岭回归的方式,压缩、编译成一个固定的仿射投影矩阵 W。

岭回归*:一种带正则化的线性回归方法,在普通最小二乘的基础上加了一个惩罚项,防止求解出来的矩阵对训练数据"过拟合",让模型在面对没见过的数据时更稳定。

具体做法是把原始的噪声嵌入向量后面加上一列全 1 的"偏置列"(这样就能同时捕捉旋转、缩放和平移三种效果),然后用闭式解(也就是有明确数学公式、不需要迭代优化的解)直接求出这个矩阵。

这一步的巧妙之处在于,它始终是从最原始的噪声嵌入出发去回归,而不是从上一轮修正后的结果出发。论文管这个设计叫"原点锚定防止漂移",如果每一轮都拿上一轮的输出去做回归基准,误差会像滚雪球一样越滚越大。始终锚定在原始观测点上,就避免了这种累积误差的放大。

这就像多次转账时,如果每次都基于"上一次到账的金额"去计算下一步该转多少,一旦某一步算错了,后面全部都会跟着错下去,而且错误会累积放大。如果每次都直接参照最初的账本原始记录去计算,哪怕某一步出了偏差,也不会污染后续的计算。ABR 采用的正是后一种"始终参照原始数据"的策略。

整个校准阶段会重复迭代 3 轮,每一轮都让伪标签更准一点,进而让中心点估计更准、噪声子空间识别更准、平移量更准。最终产出的这个静态矩阵 W,之后每来一个新样本,只需要做一次矩阵乘法就完成了全部修正,论文测得这个推理耗时是 0.0009 毫秒。

实验结果说话:到底提升了多少

说了这么多理论设计,最终还是要看数字。

研究团队在三个数据集上做了验证:UrbanSound8K(城市声音数据集,包含 10 类城市声音)、ESC-50(环境声音分类数据集,50 个类别)、以及 DCASE(一个真实设备差异导致的域偏移数据集,用来测试假设在"非典型噪声"场景下是否依然稳健)。

| 方法 | US8K准确率 | US8K的F1 | ESC-50准确率 | DCASE准确率 |

|---|---|---|---|---|

| 零样本基线(不做任何适应) | 58.77 | 60.48 | 88.82 | 17.36 |

| TDA(缓存式适应) | 62.75 | 64.35 | 91.10 | 17.38 |

| PCA++(子空间对齐) | 67.88 | 68.57 | 77.57 | 15.10 |

| SubTTA(弦距离最小化) | 58.83 | 60.76 | 87.98 | 17.21 |

| ContextDA(需要噪声类型提示,作弊基线) | 62.30 | — | — | — |

| **PRISM + CAR** | **71.23** | **71.82** | **93.25** | **17.70** |

| **PRISM** | **71.71** | **72.36** | **93.39** | 15.63 |

在 UrbanSound8K 上,PRISM 相较零样本基线提升了 12.94 个百分点,比表现最好的训练无关方法 PCA++ 还要高出 3.83 个百分点,甚至比需要"作弊式"噪声提示的 ContextDA 高出 9.41 个百分点。

更值得注意的是极端噪声条件下的表现。当信噪比降到 -6 分贝时(也就是噪声能量远远压过目标声音),零样本基线只有 32.69% 的准确率,PCA++ 是 37.55%,而 PRISM 达到了 57.45%,足足高出零样本基线接近 25 个百分点。这个数字的意义在于,它验证了前面提出的仿射噪声假设:噪声越是极端、越占主导,它在嵌入空间里留下的低秩痕迹反而越清晰、越容易被识别和剔除。

反过来,在 DCASE 数据集上,情况发生了逆转。这个数据集的域偏移来自真实的录音设备差异,而不是人为叠加的噪声,这恰好违背了仿射噪声假设的前提条件。结果显示,所有方法在这里的表现都很挣扎,PRISM 的基础版本甚至比零样本基线还低(15.63% 对比 17.36%),这说明当假设的前提不成立时,强行套用几何投影反而会破坏有用的信号。好在加上 CAR 机制之后的 PRISM+CAR 版本,是唯一一个在这个"假设失效"场景下依然能小幅超越零样本基线的方法(17.70%),这说明 CAR 起到了某种"安全阀"的作用。

多音的陷阱:一个意外发现的失败模式

说到这里,你可能觉得 PRISM 已经很完美了。但研究团队很诚实地记录了一个他们自己发现的问题,论文管它叫多音陷阱(Polyphonic Trap)。

问题出在哪呢?CCVD 那一步的核心逻辑是,把类内方差大的方向当成噪声方向去剔除。这个逻辑对大多数"简单"的、频谱结构单一的声音类别效果很好,比如空调声(提升了 42.71 个百分点)、枪声(提升 31.34 个百分点)、儿童玩耍声(提升 22.30 个百分点)。

但对于街头音乐这种类别,情况完全反过来了,它的准确率不升反降,从 92.53% 暴跌到 75.33%,跌了 17.20 个百分点。

原因在于,街头音乐这种声音本身的"语义身份",就是靠横跨很宽频谱范围的多种和声叠加体现出来的。这种天然的、承载语义信息的高方差,在嵌入空间里恰好和 CCVD 要剔除的那些低频噪声方向高度重叠。结果就是,CCVD 误把这部分承载真实语义信息的信号,当成噪声一起清洗掉了。

这就像给一件外套洗衣服的时候,你设定的洗涤程序是"去除污渍最狠的那种模式",对于普通污渍,这个模式效果拔群,衣服洗得又干净又快。但如果这件外套本身的花纹图案,恰好和常见污渍的色泽很相似,这套"狠洗"程序就会把图案一起洗掉了,洗完之后衣服确实"干净"了,但它本该有的花纹也没了。

论文进一步用交叉环境热力图验证了这个现象不是偶然的巧合,而是系统性、跨环境一致的几何失效。街头音乐这个类别,在全部 10 种不同的噪声背景环境下都出现了 13 到 23 个百分点不等的性能下滑,而绝大多数其他类别在这些环境下都是持续改善的。这种跨环境的一致性规律,恰恰说明问题出在 CLAP 嵌入空间本身的几何结构上,音乐类声音的语义子空间和噪声子空间在几何上确实存在交叠。

针对这个问题,研究团队设计了置信度感知回归(CAR)机制。

CAR*:全称 Confidence-Aware Regression,它的核心思路是根据每个类别预测的平均置信度,动态决定这个类别应该在多大程度上信任 PRISM 的修正结果,还是保留更多原始嵌入的信息,用一个 sigmoid 函数计算出的权重来做加权插值。

简单说,对于那些置信度普遍偏低(很可能就是像街头音乐这种容易被误伤的多音类别)的预测,CAR 会让它们更多地保留原始噪声嵌入的信息,而不是完全按照 PRISM 修正后的结果走。这样一来,街头音乐的准确率从 75.33% 回升到了 83.49%,恢复了 8.16 个百分点。

代价也是有的:加了 CAR 之后,那些原本受益于激进降噪的简单类别(比如空调声),准确率反而略有下降(从 64.77% 降到 58.35%),整体平均准确率也从 71.71% 微降到 71.23%。这是一个典型的稳健性与峰值性能之间的权衡,用一点点整体分数的损失,换取了最糟糕情况下不至于崩得太惨。

速度:这才是能落地边缘设备的关键

前面讲了这么多准确率的提升,其实这篇论文另一个真正的杀手锏是速度。

论文给出了一个computational cost对比表:CoNMix(一种基于梯度的方法)单次推理需要约 50 毫秒,还需要反向传播梯度、模型参数是百万级;TDA(缓存式方法)大约 2 毫秒;PCA++ 大约 0.008 毫秒;而 PRISM 只需要 0.0009 毫秒,且完全不需要梯度、不需要额外参数。

这中间的差距是几个数量级的差距。如果把 CoNMix 需要的 50 毫秒比作骑自行车通勤,那 PRISM 的 0.0009 毫秒差不多相当于坐高铁,而且这趟"高铁"是提前把轨道铺好(也就是提前算好那个静态矩阵 W),之后每次都能瞬间到达,不需要现场规划路线。

这一点对于真正部署到手机、耳机、传感器这类边缘设备上的语音识别系统来说,价值不是锦上添花,而是决定了这套技术到底能不能真正用起来。一个需要 50 毫秒甚至更长时间做梯度反传的适应方法,在实时音频流场景下根本来不及处理,声音已经播放完了,模型的适应过程还没跑完。

论文还专门验证了 PRISM 在极小批次甚至单个样本情况下的表现是否稳定。结果显示,当测试批次大小小到只有 1 个样本时,很多依赖批次统计信息的传统 TTA 方法准确率会跌破 65%,而 PRISM 在批次大小为 1 的极端情况下依然能保持 80.0% 的准确率,比零样本基线在同等条件下高出 27 个百分点。这背后的原因是,PRISM 真正做到了"离线校准、在线推理"的彻底分离,那个静态矩阵一旦提前算好(只需要 128 到 512 个样本做一次性的预热校准),之后来多少个新样本、以什么批次大小来,都用同一个矩阵去做单次矩阵乘法,完全不依赖当前这一批数据里有多少个样本。

消融实验:每一招各贡献了多少

为了搞清楚三个几何修正步骤各自的价值,研究团队做了严格的逐步累加实验(每次只加一个组件,看准确率的变化)。

| 配置 | 添加的组件 | 准确率 | F1值 |

|---|---|---|---|

| 零样本基线 | — | 58.77 | 60.48 |

| +OPCA | 跨模态对齐 | 68.35 | 68.87 |

| +CCVD | 噪声子空间移除 | 71.44 | 72.02 |

| **PRISM(+ABR)** | 仿射偏差校正 | **71.71** | **72.36** |

| PRISM + CAR | 多音陷阱缓解 | 71.23 | 71.82 |

数据显示,OPCA 这一步贡献了最大的一块提升,将近 9.58 个百分点,说明全局的旋转对齐是整个框架里最核心的一步。CCVD 紧随其后贡献了 3.09 个百分点,验证了仿射噪声假设里"噪声呈低秩结构、可分离"的核心主张。ABR 贡献相对较小,只有 0.27 个百分点,它更像是收尾性质的精细化修正。

研究团队也测试了几个关键超参数的敏感性,噪声子空间维度 K 在 30 到 100 的范围内波动,准确率变化不到 0.1 个百分点;平移强度 α 在 0 到 1 的整个区间内,准确率变化也只有 0.63 个百分点;岭回归的正则化系数 λ 在两个数量级的范围内浮动,表现同样很稳定。这说明这套方法对参数选择并不挑剔,不需要针对每一种噪声环境反复调参,这对于实际部署来说是个相当重要的加分项。

这套方法能推广到哪些真实场景

论文开头提到了几个具体的应用背景,比如光纤声学监测、野生动物生物声学识别、水下船只声纹分类。这些场景有一个共同特点:现场的声学条件往往极其恶劣,而且计算资源有限,不可能指望云端服务器实时介入处理。

这正是 PRISM 这类方法真正的用武之地。它不需要标签、不需要提前知道噪声类型、不需要联网做梯度计算,一次性校准好之后可以长期部署在资源受限的边缘设备上,持续、稳定地工作。

写在后面

读完这篇论文,最触动我的地方不是它的准确率提升了多少个百分点,而是它对"什么时候该用简单方法、什么时候该用复杂方法"这件事给出的一个具体案例。

深度学习领域这几年有种默认倾向,遇到问题先想梯度下降能不能解决。但这篇论文提醒我们,有些问题的本质其实是几何问题,一旦你把它的几何结构看清楚了,闭式解可能比任何迭代优化都更快、更稳。这不是说梯度方法不好,而是说找对问题的本质形态,往往比堆更多计算更重要。

多音陷阱这个发现也挺值得琢磨的。作者没有藏着掖着说自己的方法完美无缺,而是老老实实地把"哪里失效了、为什么失效"讲清楚,这种诚实反而让整篇论文更可信。一个方法承认自己的边界,往往比号称"全面碾压"更值得信任。

如果这套思路继续往前走,一个自然的问题是:能不能提前判断某个声音类别是不是"多音陷阱"的高风险类别,而不是等出了问题再用 CAR 去补救?这大概是留给后来者的一道题。

Q&A

Q1:PRISM是什么,它解决了什么问题?

A:PRISM是一种针对音频文本模型(比如CLAP)的免训练、无需梯度的降噪适应方法,专门解决模型在强噪声环境下识别准确率暴跌的问题。它把噪声造成的干扰看作一种可以被数学建模和逆转的几何扭曲,通过三步闭式几何修正把这种扭曲反向消除,最终压缩成一个静态矩阵,推理时只需一次矩阵乘法,耗时0.0009毫秒。

Q2:PRISM和需要噪声类型提示的ContextDA相比谁更好?

A:PRISM完全不需要提前知道噪声类型,属于真正的盲适应方法,而ContextDA需要输入噪声类型的特权提示词才能工作。在UrbanSound8K数据集上,PRISM的准确率达到71.71%,反而比依赖特权提示的ContextDA(62.30%)高出9.41个百分点。

Q3:多音陷阱是什么,PRISM怎么解决这个问题?

A:多音陷阱指PRISM的噪声剔除步骤(CCVD)会把街头音乐这类天然频谱范围很宽的声音,误判为噪声一并清除,导致这类声音的识别准确率不升反降(从92.53%跌到75.33%)。论文用置信度感知回归(CAR)机制缓解这个问题,让低置信度类别更多保留原始信息,最终让街头音乐的准确率恢复到83.49%。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-