会议记得住，可人却总被记混：一场关于“谁说了这句话”的较量

你有没有经历过这种事：开了个三小时的项目会，录音转成了文字稿,内容一字不差,可翻看的时候发现,第二段里"张三"说的那句承诺,到了第五段却变成了"李四"说的。

更麻烦的是,这个"张三"在上周的会议记录里,系统给他的标签是"发言人A",这周变成了"发言人C"。

你知道那是同一个人,系统却不知道。

这不是夸张的假设,而是现在几乎所有会议转录工具都在悄悄犯的错误。这篇来自Foyer团队的论文,把这个问题从"感觉不对"变成了"可以量化、可以比较、可以解决"的科学问题。

**为什么"记对话"比"记文字"难得多**

先说一个你可能没意识到的事实:市面上评价一个会议转录系统好不好,几乎都在看一个指标,叫词错误率。

词错误率*：衡量系统转录出来的文字和实际说的话之间差了多少个词,是语音识别领域最常用的打分方式。

这个指标只回答一个问题:这段话听写对了吗。它完全不关心"这段话是谁说的"。

于是行业里又发展出了另一套指标,叫cpWER。

cpWER*:全称是拼接最小置换词错误率,它会把每个发言人说的话拼起来,然后尝试各种"发言人编号对应关系",找出错得最少的那种对应方式来打分。

听起来已经很严谨了对吧?但这里有个致命的漏洞:cpWER是针对单次录音算的。也就是说,这次会议里"发言人1"对应的是真实的张三,下次会议里系统又重新编号,"发言人1"可能对应的是另一个人。系统每次都是"现场重新猜一遍",猜对了就给高分,但从来没人检查过,这个猜测结果,能不能在时间线上串起来。

这就好比你雇了一个新秘书,他每次开会都认真记录"谁坐在左边第二个位置说了什么",但他从不记人脸。下次开会,同一群人换了座位,他记录的"左二"已经不是上次那个"左二"了。文字记对了,人却全部对不上。如果你靠这些记录去追踪"张三上周答应了什么",你会发现记录里压根没有一个叫"张三"的人,只有一堆每次重新编号的"左一左二左三"。

这篇论文要解决的,正是这个长期被忽视的裂缝。他们提出了一个新指标,叫SI-cpWER。

SI-cpWER*:全称是说话人识别cpWER,核心区别在于它要求整个语料库(也就是所有会议记录加在一起)使用同一套发言人身份映射表来打分,而不是每次会议单独算一套。

换句话说,这个指标在问:系统给张三的那个"身份ID",在跨越了十几场、甚至上百场会议之后,还是不是同一个ID?

**测试场的搭建:129场会议,外加噪音和家庭聚餐**

光有指标还不够,得有合适的考场。

研究团队选用了CHiME-8 NOTSOFAR评测集,这是一个专门为"远场会议语音识别"设计的公开数据集。

CHiME-8 NOTSOFAR*:一套包含129场真实办公室会议录音的测试集,这些会议里的说话人在不同会议之间用的是同一个身份标签,也就是说数据集本身就支持"跨会议追踪同一个人"这件事,这对验证SI-cpWER来说正合适。

这套数据总共录了13.34小时,涉及12个不同的说话人,平均每场会议有4.65个人说话,大约三成的语音是互相重叠的,也就是两个人同时在说话。

光用干净的会议室录音还不够贴近现实。真实场景里,设备可能放在嘈杂的办公室,旁边有人聊天,键盘声、椅子挪动声不断。于是团队还做了一个"噪声版"数据集,专门往干净录音里叠加三种噪声:持续的环境背景音、模糊化处理后的旁人说话声(专门做了低通滤波和混响处理,让它听起来像是"隔壁房间传来的人声",而不是清晰的近场说话声)、还有键盘、关门之类的突发声响。信噪比平均控制在10.1分贝左右。

这个处理有个很讲究的细节:他们把背景噪声、人声干扰、瞬时声响这三种成分按照70%、15%、15%的能量比例混合,这个比例不是随便定的,它模拟的是真实办公室里"持续噪音最吵、偶发人声和物理声响次之"的典型分布。

如果不做这个噪声版本会怎样?那所有系统的测试结果都只反映"实验室理想条件"下的表现,一旦部署到真实办公环境,表现可能完全不是一回事。这就像测试汽车刹车性能只在干燥平坦的赛道上测,从来不测雨天路滑的情况,结果看起来都很漂亮,真到了下雨天才知道差距有多大。

除此之外,团队还加了CHiME-6数据集,这是一套真实的家庭聚餐录音,四个人围桌吃饭聊天,语音重叠程度高达三分之一,比办公室会议还乱。为了模拟"跨多场对话保持身份一致"这个场景,团队把两个多小时的长录音切成一个个大约300秒的片段,像流水线一样连续送入系统,同时让两场完全不同的聚餐共享同一个"声纹库"(也就是系统记住每个人声音特征的那个数据库)。这个设计是故意刁难系统的:聚餐A的某个人的声音,千万不能被系统误判成聚餐B里的某个陌生人。

**七个商业系统 vs 一个专门设计的参照系统**

测试对象阵容相当齐整。五个商业"先分离说话人再识别身份"的组合系统,包括ElevenLabs、PyannoteAI、AssemblyAI、Deepgram和OpenAI,它们走的路线都是:先用自己的技术把音频按发言人切开,贴上临时标签,再用同一个共享的声纹识别后端(PyannoteAI的声纹接口)把这些临时标签对应到持久身份上。

另外还有两个开源学术基线系统,SE-DiCoW和WhisperX,用的是不同的说话人分离技术路线。

重点来了,团队自己设计了一套叫ThyVoice的端到端系统,作为这次评测的参照系统。

ThyVoice*:论文作者团队自研的会议转录系统,核心设计理念是"把证据筛干净了再用",也就是在构建或更新一个人的声纹档案之前,先把重叠语音修复或剔除,只用可靠的证据。

ThyVoice不是随便拼起来的管线,它由四个关键组件接力完成任务。先是DiariZen md-v2负责判断什么时候谁在说话,包括标出哪些时间段是两人同时说话的重叠区。接着对那些重叠区域,用MossFormer2这个语音分离模型把混在一起的两个人的声音拆开。拆开之后有个麻烦:分离出来的两条声音流,谁是谁根本不知道顺序,所以第三步要靠WeSpeaker这个声纹嵌入模型,把每条分离出的声音流和这个人之前的"干净"语音样本做余弦相似度比对,只有匹配度超过0.25的才被接纳进这个人的语音池子里,匹配不上、听起来像重复声音或者质量存疑的,直接扔掉不用。最后,每个人积累的所有"干净"语音片段被拼接成一条长音频,送进Qwen3-ASR做转录。

这套流程背后有个很朴素但容易被忽略的原则:宁可少用一些证据,也不要用错的证据去认错人。

设想一个场景,你要靠一个人的笔迹来确认他的身份,但你手头有十份笔迹样本,其中三份是别人代笔或者模仿的。如果你把这十份全部用来"学习"这个人的笔迹特征,你学到的其实是一个被污染的、模糊的笔迹模型,以后遇到真正的笔迹反而可能认错。如果你花时间先剔除掉那三份可疑的,只用七份确定无误的样本去学习,虽然样本量变少了,但学到的特征更纯粹,未来识别的准确率反而更高。ThyVoice的"重叠修复+证据门控"设计,本质上就是在做这件剔除可疑样本的工作,代价是处理流程变复杂了,收益是声纹档案更干净。

身份匹配这块,ThyVoice设了两道不同松紧度的门槛。匹配一个已有身份,只需要余弦相似度达到0.5就算通过;但如果想把这条新证据加进这个人的声纹档案、更新这个身份的"长期记忆",门槛直接提到0.7,而且必须是干净或者确信无疑分离出来的语音,不能是存疑的重叠音轨。

**结果揭晓:谁在"记人"这件事上翻车了**

现在进入最关键的部分,各个系统的SI-cpWER表现。

在三种测试条件(干净办公室录音、加噪声办公室录音、家庭聚餐录音)下,ThyVoice的平均SI-cpWER是47.13%,而排名第二的商业系统ElevenLabs是54.75%,中间差了7.62个百分点。

这个差距意味着什么?意味着每100个词的归属判断里，ThyVoice比排名第二的商业系统少错了差不多7到8个词的归属。在一场需要精确追溯"谁承诺了什么"的会议里，这个差距很可能就是"记对了关键决策人"和"记混了关键决策人"的区别。

更有意思的是，如果换成看cpWER(单场会议内部的打分，不要求跨会议身份一致)，ElevenLabs反而是商业系统里表现最好的，排名甚至超过ThyVoice。

这组对比揭示了一个核心矛盾:单场会议记得准，不代表能跨场记得住。

ElevenLabs在CHiME-6聚餐场景下，单场cpWER是44.25%，看起来相当不错，但一旦要求跨越两场聚餐保持身份一致，它的SI-cpWER飙升到74.22%，整整多了将近30个百分点。相比之下，ThyVoice从53.76%到55.24%，只多了1.5个百分点。

这就是本文开头说的那个秘书的问题的数据版验证:单场记录做得再细致，如果不能把"这次的左二"和"下次的左二"对应到同一个人身上，这份记录在长期使用的场景里就是脆弱的。

有一个开源基线SE-DiCoW值得单独说一说，它在两个办公室数据集(干净和加噪声版本)上的SI-cpWER都是全场最低，分别是32.24%和49.54%，比ThyVoice还低。但到了CHiME-6聚餐场景，它的SI-cpWER飙到83.88%，是全场倒数第二。这说明不同系统的"强项"和真实世界的多样场景并不总是匹配的，办公室安静环境下表现出色的系统，换到嘈杂的家庭聚餐场景可能完全不适应。

**身份数量暴涨的隐藏陷阱**

论文还做了一个很直观的诊断，统计每个系统最终"创造"出来的独立身份数量。

真实情况下，干净办公室数据集里只有12个不同的人，加噪声版本同样是12个人，家庭聚餐数据集是8个人。

ThyVoice在干净条件下识别出14个身份，接近真实的12个；在加噪声条件下是21个；在聚餐场景是17个。

对比一下PyannoteAI的表现:干净条件下识别出75个身份，加噪声条件下101个，聚餐场景80个。本该是12个人，系统硬是把他们拆成了75甚至101个"独立身份"。

这意味着什么?意味着同一个人在不同时刻说的话，被系统当成了几十个完全不认识的陌生人。如果你拿着这样的记录去问"张三上个月说了什么"，系统可能会告诉你张三根本没说过那句话，因为那句话被归到了"陌生人第47号"身上。

这就像一个记账软件，本来你只有12个联系人，软件却因为每次识别你的朋友声音时都有点细微差异，硬是给你的朋友圈建了上百个重复账户，每个账户里只有零星几笔记录，你想查某个朋友的完整消费记录，结果发现信息被打散在十几个"马甲"账户里，根本拼不完整。

身份数量暴涨背后的根本原因，是声纹匹配的"宁可错杀，不可放过"策略在作祟:系统每次遇到声音稍微有点不一样(可能是感冒了，可能是离麦克风远了一点，可能是情绪变化导致语调变化)，就倾向于创建一个新身份，而不是信任之前已有的匹配。

**噪声到底在打哪里**

研究团队还做了一套精细的分层诊断，把整个系统拆成好几层单独检查:词语转录的准确度、单场会议内说话人划分的准确度、重叠语音检测能力、以及最终的持久身份识别。

在词语转录这个最基础的层面，ElevenLabs的Scribe v2在所有三种条件下都是文字转录错误率最低的，分别是30.37%、35.80%、35.03%。但正如前面说的，转录文字准得再狠，也挡不住身份记混的问题。

在局部说话人划分这个层面(也就是单场会议内判断"现在是谁在说话")，ThyVoice用的DiariZen md-v2组件表现最好，三种条件下的说话人划分错误率(DER)分别是18.32%、29.51%、68.24%，都是对比组里的最低值。

DER*：全称是说话人划分错误率，衡量系统判断"某个时刻是谁在说话"这件事的准确度，和具体转录的文字内容无关。

有一个特别值得玩味的发现，是关于"重叠语音能不能被看见"这件事。有些商业系统输出的格式是"每个词只标一个说话人"，这种格式天生就没办法表示"两个人同时在说话"这个事实。论文测量了这些系统的重叠检测召回率，发现像ElevenLabs的Scribe v2、AssemblyAI的Universal-3 Pro这类输出格式，重叠检测召回率是0.0%，一次都没检测到。而ThyVoice底层用的DiariZen md-v2，在干净条件下重叠检测召回率达到78.5%。

这个差距背后藏着一个连锁反应:如果系统从一开始就看不见"这段话是两个人同时说的"，那么在构建声纹档案的时候，就没法把这段混杂证据排除掉，混进去的噪音会污染这个人的声纹特征，进而影响未来的身份匹配准确度。这就好比你想给某个朋友建立一个清晰的语音档案，但录音设备从不告诉你"刚才这段录音旁边还有另一个人在插话"，你把这段混着两个人声音的录音当成单人样本存了进去，以后再拿这个被污染的样本去比对，匹配结果自然不靠谱。

团队专门设计了一组对照实验来验证这件事。他们比较了四种处理重叠语音的策略:分离并重新匹配(ThyVoice的默认做法)、直接丢弃重叠部分不用、保留混合音频用于转录但身份匹配只用干净部分、以及保留混合音频同时拿混合证据去做身份匹配。

结果非常清楚:分离加重新匹配的策略，SI-cpWER是32.73%，表现最好。而"保留混合音频同时用混合证据做身份匹配"这个策略，转录准确度(cpWER为42.86%)和"身份匹配只用干净部分"那个策略(42.53%)差不多，但SI-cpWER却飙升到67.76%，几乎是前者的两倍。

这组数据干净地证明了一件事:转录用的音频和身份识别用的证据，必须分开对待。即便两种策略在"这段话听写对了没"这个问题上表现相近，一旦涉及"这段话该归给谁"，用混杂证据去做判断的后果要严重得多。

**写在后面**

读到这篇论文的时候,最触动我的其实是那个cpWER和SI-cpWER之间的差距对比表,尤其是ElevenLabs在CHiME-6上的那个30个百分点落差。

这个数字让我意识到,我们平时判断一个AI工具"好不好用"的方式,可能本身就有盲区。你去试用一个会议转录软件,拿单场会议去测,觉得转录得很准,体验很好,给了五星好评。但这个评价完全没有触及这个软件能不能"记住你"这件事,因为单场测试天然没法暴露这个问题。

这让我想到一个更大的问题:很多AI产品的评测方式,本质上都在用"单次交互质量"去代表"长期使用价值",但这两者之间可能存在巨大的鸿沟。一个聊天机器人单轮对话很流畅,不代表它能在十次对话之后还记得你上次说过的偏好。一个推荐系统单次推荐很精准,不代表它能跨越几个月持续理解你的兴趣变化。

还有一个细节我觉得值得单独拿出来说,是论文里提到的"身份数量暴涨"现象背后那个机制:系统倾向于"宁可创建新身份，不可冒险错误合并"。这个倾向本身是有道理的，错误合并两个不同的人确实比把一个人拆成两个身份更危险，前者会直接导致信息串错。但代价是，整个系统因此变得极其保守，碎片化问题反而更严重。这是一个典型的"用一种错误换取避免另一种更严重的错误"的权衡,只是大多数时候没人把这个权衡摆到台面上讲清楚。

论文里还有一个没完全展开的问题,留给了未来的研究:身份归属的错误,到底会在实际应用里造成什么样的后续损害?一个被记混的名字,会不会导致某个本该被追责的承诺,被安在了完全无关的人身上?这件事的代价,现在还没有被量化。

Q&A

Q1：SI-cpWER是什么？

A：SI-cpWER是本文提出的新指标,全称说话人识别cpWER,它要求整个语料库中的所有会议使用同一套发言人身份映射表来打分,专门用来检验同一个人是否在跨越多场会议后仍被识别为同一个身份。

Q2：ThyVoice和商业语音转录工具相比表现怎么样？

A：在跨会议持续身份识别(SI-cpWER)上,ThyVoice平均得分47.13%,优于所有参与测评的五个商业系统,其中表现最好的商业系统ElevenLabs得分54.75%,但在单场会议内部打分(cpWER)上,ElevenLabs反而表现最优。

Q3：为什么重叠语音会影响系统记住一个人的身份？

A：如果系统输出格式没法标记"两人同时说话",混杂的声音会被当成单人样本存入声纹档案,污染这个人的声音特征,导致未来匹配不准,实验显示用混合证据做身份匹配的SI-cpWER会比用干净证据高出近一倍。