让机器听懂"你说我说"：布尔诺理工大学如何破解多人对话识别难题

这项由捷克布尔诺理工大学Speech@FIT实验室的Alexander Polok、Jiangyu Han、Dominik Klement等人，以及美国卡耐基梅隆大学语言技术研究所的Samuele Cornell和Jan Cernocky、Lukás Burget共同完成的研究，发表于2025年6月的arXiv预印本平台（论文编号：arXiv:2506.13414v1）。有兴趣深入了解的读者可以通过该编号在arXiv网站上访问完整论文。

在我们日常生活中，多人同时说话的情况随处可见——会议室里的激烈讨论、朋友聚会时的热闹对话、家庭聚餐时的欢声笑语。但对于计算机来说，这种看似简单的场景却是一个巨大的挑战。就像一个人要在嘈杂的菜市场里准确听出每个摊贩在说什么一样困难。

目前的语音识别技术在面对单人说话时表现出色，但一旦遇到多人对话，就容易"晕头转向"。这就好比一个优秀的速记员在安静的办公室里能完美记录老板的讲话，但在热闹的酒吧里却无法分辨出朋友们各自说了什么。

这个问题的核心在于两个关键挑战：首先，机器需要准确判断"谁在什么时候说话"，这被称为说话人分离技术；其次，机器还要准确理解"每个人具体说了什么"，这就是语音识别技术。传统的解决方案通常是将这两个步骤分开处理，就像先用一个滤网把不同颜色的豆子分开，再用另一个工具逐一识别每种豆子的品种。

研究团队提出了一个全新的解决方案，他们将这个复杂的问题比作指挥一个交响乐团。在交响乐演出中，指挥需要同时关注每个乐器的演奏，并将它们协调成一个和谐的整体。类似地，他们的系统能够同时处理多个说话人的语音，并准确识别出每个人说的内容。

他们的方法结合了两个核心技术：DiCoW（Diarization-Conditioned Whisper，分离条件化的Whisper）和DiariZen。如果把语音识别比作烹饪，那么DiCoW就像是一个经验丰富的厨师，能够根据不同食材的特点调整烹饪方法，而DiariZen则像是一个敏锐的品鉴师，能够精确分辨出菜品中每种食材的味道。

最终，他们的系统在国际多语言对话识别挑战赛中获得了第二名的优异成绩，在15种不同语言的测试中都表现出色。更令人惊喜的是，即使这个系统主要用英语进行训练，它仍然能够很好地处理其他语言的对话，展现出了强大的适应能力。

一、破解说话人分离的秘密武器：DiariZen

在多人对话的场景中，最基础也是最关键的一步就是准确判断"谁在什么时候说话"。这就像在一个热闹的聚会上，你需要准确地分辨出每个朋友的声音，并知道他们各自在什么时候开口说话。

传统的说话人分离系统就像是一个经验不足的服务员，在嘈杂的餐厅里经常搞混不同桌客人的点菜声音。而研究团队开发的DiariZen则像是一个训练有素的专业调音师，能够在复杂的声音环境中精确分离出每个说话人的声音。

DiariZen的工作原理可以用拼图游戏来类比。传统方法是将一段长时间的录音直接作为一个巨大的拼图来处理，这样做既费时又容易出错。而DiariZen采用了"分而治之"的策略，它首先将长录音切割成若干个较短的片段，就像将一个复杂的大拼图分解成若干个小拼图块。

对于每个小片段，DiariZen都会进行精细的分析。它使用了一个叫做WavLM的先进语音分析模型作为基础，这个模型就像是一个经验丰富的声学专家，能够从声音中提取出丰富的特征信息。然后，它再使用一个名为Conformer的神经网络结构来进一步处理这些特征，Conformer就像是一个智能的模式识别器，能够识别出不同说话人的声音模式。

在处理完每个小片段后，DiariZen还需要解决一个重要问题：如何确定不同片段中的说话人是否为同一人？这就像是在不同的照片中识别出同一个人的脸。DiariZen通过提取每个说话人的"声音指纹"—— 一种独特的数字化声音特征，然后使用聚类算法将相同的声音指纹归为一类，从而确定整段录音中的说话人身份。

在实际测试中，DiariZen在15种不同语言的测试中都显著超越了传统的基准系统。以英语为例，传统方法的错误率为20.2%，而DiariZen将错误率降低到了15.9%。这种改进不仅体现在英语上，在其他语言如法语、德语、日语等方面也都有显著提升。

更令人印象深刻的是，即使在没有针对特定语言进行专门训练的情况下，DiariZen仍然表现出色。这就像是一个多语言翻译官，即使没有专门学习某种方言，也能凭借丰富的语言经验做出准确的判断。

二、智能语音识别的新突破：DiCoW系统

解决了"谁在说话"的问题后，下一个挑战就是准确理解"每个人具体说了什么"。这就像是在嘈杂的火车站里，你不仅要听出朋友的声音，还要准确理解他说的每一个词。

传统的语音识别系统在处理多人对话时就像是一个"选择恐惧症"患者，面对多个说话人时往往不知道该关注谁，结果经常出现混乱和错误。而研究团队开发的DiCoW（Diarization-Conditioned Whisper）系统则像是一个训练有素的同声传译员，能够根据指令专注于特定说话人的声音，并准确转录其内容。

DiCoW的核心创新在于它将说话人分离信息直接融入了语音识别过程中。这就像是给一个翻译员配备了一副特殊的耳机，这副耳机不仅能接收所有人的声音，还能根据需要调节音量，突出特定说话人的声音。

具体来说，DiCoW基于著名的Whisper语音识别模型进行改进。Whisper就像是一个经验丰富的语言学家，在大量文本和语音数据上接受过训练，具备强大的语音理解能力。但原始的Whisper在面对多人对话时就像是一个没有经过专门训练的语言学家，虽然语言功底深厚，但缺乏在嘈杂环境中工作的经验。

DiCoW的改进就像是给这位语言学家配备了一套专业的工作流程。它为每个语音片段创建了一个"声音地图"，这个地图包含四种不同的信息：安静时刻（没有人说话）、目标说话人活跃时刻、其他说话人活跃时刻，以及多人同时说话的重叠时刻。这就像是给翻译员提供了一个详细的"声音导航图"，告诉他在什么时候应该重点关注哪个方向的声音。

更巧妙的是，DiCoW将这些信息以概率的形式融入到识别过程中。它不是简单地告诉系统"现在只听A说话，忽略B"，而是说"现在A说话的可能性是80%，B说话的可能性是20%，请相应地调整注意力"。这种灵活的处理方式使得系统能够更好地应对复杂的真实对话场景。

在技术实现上，DiCoW在Whisper的每个处理层中都添加了特殊的"条件化变换"模块。这些模块就像是一组智能的音量调节器，能够根据当前的说话人情况自动调整对不同声音成分的敏感度。当系统检测到目标说话人正在说话时，相应的调节器就会提高对该说话人声音的敏感度；当检测到其他干扰声音时，调节器就会降低对这些声音的关注。

三、跨语言能力的意外发现

在测试过程中，研究团队发现了一个令人惊喜的现象：尽管DiCoW主要使用英语数据进行训练，但它在处理其他语言时仍然表现出色。这就像是一个主要说中文的人，在学会了高级的倾听技巧后，即使面对其他语言的对话也能更好地分辨出不同说话人的声音。

这个发现对于实际应用具有重要意义。在全球化的今天，我们经常需要处理多语言的会议录音或国际电话会议。传统的方法需要为每种语言单独训练系统，这不仅耗时耗力，还可能导致不同语言版本之间的性能差异。

DiCoW的跨语言能力表明，说话人分离技能在某种程度上是"语言无关"的。这就像是学会了在嘈杂环境中集中注意力的技能，这种技能不仅在中文环境中有用，在英文或其他语言环境中同样适用。

在15种不同语言的测试中，DiCoW都显示出了稳定的性能。即使在一些语言上的表现略逊于专门训练的系统，但考虑到它的通用性和训练成本，这种性能已经相当令人满意。这为开发真正的多语言智能语音助手提供了新的可能性。

四、真实世界的挑战与解决方案

在将系统应用到真实世界的数据时，研究团队遇到了一个意想不到的问题：训练数据中存在标注不一致的情况。这就像是在学习识别不同鸟类的叫声时，发现教材中有些鸟的叫声被错误标注，或者有些明明是鸟叫的声音却被标记为"安静"。

这些标注问题主要表现在两个方面：一是有些实际的说话片段没有被标注出来，系统在学习时就会认为这些片段是安静的；二是有些被标注为说话的片段实际上包含了很长的静音时间。这种不一致会导致系统学习到错误的模式，就像是一个学生从错误的教材中学到了错误的知识。

为了解决这个问题，研究团队采用了一个聪明的策略：他们引入了一个专门的"声音活动检测器"（VAD）来辅助判断。这个检测器就像是一个经验丰富的录音师，能够准确判断什么时候有人在说话，什么时候是真正的安静。

通过将这个辅助检测器的判断结果与原始的说话人分离结果进行融合，系统的性能得到了显著提升。在模拟真实测试环境的数据上，这种方法将错误率从22.4%降低到了17.9%，在实际测试集上的表现也从28.6%提升到了17.4%。

这个发现提醒我们，在开发人工智能系统时，数据质量的重要性往往被低估。即使有了最先进的算法，如果训练数据存在问题，系统的性能仍然会受到影响。就像是再好的厨师，如果食材不新鲜，也很难做出美味的菜肴。

五、性能表现与国际竞争

在国际多语言对话识别挑战赛（MLC-SLM Challenge）中，研究团队的系统获得了第二名的优异成绩。这项比赛就像是语音识别领域的"奥运会"，吸引了来自世界各地的顶尖研究团队参与。

他们的系统在综合评估中达到了16.75%的错误率，这个数字看起来可能不够完美，但考虑到任务的复杂性，这已经是相当出色的成绩。要知道，这个系统需要同时处理15种不同的语言，包括各种口音的英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语、泰语和越南语等。

在某些语言上，系统的表现尤其出色。比如在印度英语上，错误率只有6.0%，在意大利语上为8.9%，在西班牙语上为10.8%。这些数字意味着，在10个单词中，系统可能只会错1个或更少，这对于自动化的会议记录或实时翻译应用来说已经是相当实用的水平。

更重要的是，与传统的基准系统相比，新系统在所有语言上都显示出了显著的改进。这种一致性的提升表明，他们的方法不是针对某种特定语言的优化，而是一种真正通用的解决方案。

六、技术实现的精妙之处

从技术角度来看，这个系统的成功在于它巧妙地平衡了复杂性和实用性。整个系统的架构就像是一个精密的手表，每个组件都经过精心设计和调试。

在训练过程中，研究团队采用了一个三阶段的策略。首先是"预热"阶段，系统使用大量的单人语音数据学习基础的语音识别能力，就像是一个学生先学习基础知识。然后是"适应"阶段，系统开始接触多人对话的数据，学习如何在复杂环境中工作。最后是"精调"阶段，系统在特定的目标数据上进行最终的优化。

这种渐进式的训练方法确保了系统既保持了原有的强大语音识别能力，又获得了处理多人对话的新技能。这就像是一个已经精通单人演奏的音乐家，通过逐步训练学会了在乐团中协调演奏。

在处理长时间录音时，系统采用了"滑动窗口"的方法。它不是试图一次性处理整个录音，而是将其分解成若干个30秒的片段，逐个处理后再将结果拼接起来。这种方法既保证了处理的准确性，又使得系统能够处理任意长度的录音。

七、实际应用前景与局限性

这项研究的成果对于实际应用具有广泛的意义。在商业会议记录领域，这种技术可以自动生成准确的会议纪要，标注出每个发言人的具体内容。对于教育行业，它可以帮助制作更准确的课堂录音转录。在法律领域，它可以协助处理法庭辩论记录或证人证言。

特别是在全球化的商业环境中，跨国公司经常需要处理多语言的会议录音。传统的人工转录不仅成本高昂，而且效率低下。这种自动化系统可以大大降低成本，提高效率，同时保证相当高的准确性。

然而，研究团队也坦诚地指出了当前系统的一些局限性。首先，虽然系统在多种语言上都表现良好，但在某些语言（如泰语）上的性能仍有改进空间。其次，当前系统主要针对两人对话进行了优化，对于更多人同时说话的场景，性能可能会有所下降。

此外，系统在处理方言、非标准发音或极度嘈杂的环境时仍然面临挑战。这就像是一个优秀的翻译员在面对浓重口音或背景噪音很大的环境时也会感到困难。

八、开源贡献与未来发展

值得赞赏的是，研究团队决定将他们的成果开源，这意味着全世界的研究人员和开发者都可以使用和改进这些技术。他们发布了两个主要的模型：DiCoW和DiariZen，分别可以通过Hugging Face平台获取。

这种开源的做法对于整个学术界和产业界都具有重要意义。它不仅加速了技术的传播和应用，还为后续的研究提供了坚实的基础。其他研究团队可以在此基础上进行改进，探索新的应用场景，或者将这些技术与其他先进技术结合。

展望未来，研究团队提出了几个可能的改进方向。首先是扩展到更多说话人的场景，目前系统主要针对两人对话，未来可以考虑三人、四人甚至更多人的复杂对话场景。其次是进一步提高跨语言的泛化能力，特别是对于资源较少的语言。

另一个有趣的发展方向是将这种技术与大型语言模型结合。随着ChatGPT等大型语言模型的兴起，将精确的语音识别与强大的语言理解能力结合，可能会产生更加智能的对话理解系统。

研究团队还指出，未来的工作可能会探索更好的数据标注方法，以解决他们在研究中发现的标注不一致问题。这不仅会改善系统性能，还会为整个领域的发展提供更好的数据基础。

说到底，这项研究代表了人工智能在理解人类对话方面的一个重要进步。虽然我们距离完全解决多人对话理解问题还有一段路要走，但这种将说话人分离与语音识别巧妙结合的方法，为我们提供了一个新的思路和强大的工具。

归根结底，这项技术的价值不仅在于它的技术创新，更在于它为人机交互开辟了新的可能性。当我们的设备能够更好地理解复杂的人类对话时，它们就能更好地服务于我们的生活和工作。无论是在会议室里记录重要决策，还是在家庭聚会中保存珍贵回忆，这种技术都有可能让我们的生活变得更加便利和丰富。

对于那些对技术细节感兴趣的读者，建议查阅原始论文以获取更深入的理解。同时，开源的代码和模型也为实际应用和进一步研究提供了宝贵的资源。这项工作不仅推进了学术研究的边界，也为实际应用奠定了坚实的基础。

Q&A

Q1：DiCoW和DiariZen是什么？它们有什么区别？ A：DiCoW是一个智能语音识别系统，专门用于理解多人对话中每个人说的具体内容；DiariZen是一个说话人分离系统，用于判断"谁在什么时候说话"。可以把DiCoW比作一个专业翻译员，DiariZen比作一个声音导航仪。两者配合使用，就能准确处理复杂的多人对话场景。

Q2：这个系统会不会只能处理英语对话？ A：不会。虽然系统主要用英语数据训练，但它能够处理15种不同语言，包括法语、德语、日语、韩语等。这就像学会了在嘈杂环境中集中注意力的技能，这种技能在不同语言环境中都适用。测试结果显示，系统在多种语言上都有良好表现。

Q3：普通人如何使用这项技术？有什么实际应用？ A：目前研究团队已经将技术开源，开发者可以通过Hugging Face平台获取模型。实际应用包括会议记录自动转录、多语言电话会议处理、法庭辩论记录等。未来可能会集成到各种语音助手、会议软件或教育平台中，让普通用户能够更便捷地使用。