WHISTRESS：用句子重音检测丰富语音转录，希伯来大学最新语音识别突破

在口语交流中，我们不仅通过词汇传递信息，还通过语调、情感和重音表达更深层次的含义。当我们强调句子中的特定词语时，这种"句子重音"能够传达说话者的真正意图，对语言理解至关重要。近日，来自以色列耶路撒冷希伯来大学计算机科学与工程学院的研究团队Iddo Yosha、Dorin Shteyman和Yossi Adi在这一领域取得了重要突破，他们开发了一种名为WHISTRESS的创新方法，能够在语音识别过程中自动检测句子重音，从而生成更加丰富、更接近人类自然表达的文本转录。这项研究成果已发表并可通过项目页面(https://pages.cs.huji.ac.il/adiyoss-lab/whistress)了解详情。

语言学研究长期以来将句子重音分为两种理论视角。第一种视角认为，正常的重音是一种默认模式，遵循特定的语音规则，与语义无关；第二种视角则将句子重音视为一种语义工具，说话者可以对任何词语施加重音以突显其语义重要性。从声学角度来看，句子重音主要通过语音信号中的持续时间、振幅和音高变化来体现。

想象一下，当你说"我没有偷那辆车"这句话时，根据你强调的词语不同，整句话的含义会发生微妙变化。如果你强调"我"，表示不是你而是别人偷了车；如果强调"偷"，可能表示你只是借用而非偷窃；如果强调"那辆"，则暗示你可能偷了其他车辆。这些微妙的语调变化在面对面交流中很容易捕捉，但在语音识别技术中却常常被忽略。

现有的句子重音检测模型大多依赖于声学特征，而语言信息的整合则相对有限。一些模型需要在推理过程中提供口语话语的转录文本、通过强制对齐或手动标注获取的词边界等先验信息，这不仅增加了模型的复杂性，还使其性能受到强制对齐器准确性、转录质量和数据可扩展性的影响。

WHISTRESS的独特之处在于它采用了一种"无需对齐"的方法。研究团队基于流行的Whisper语音识别模型，增加了一个额外的重音检测组件，该组件能够为每个词元预测重音目标，从而在不影响原始模型性能的前提下生成更具信息量的转录文本。这就像是给语音识别系统配备了一双能听出"言外之音"的耳朵，让它不仅能听懂你说了什么，还能理解你想表达的强调点。

为了训练这样一个高性能的模型，研究团队面临着数据质量和一致性的挑战。现有的句子重音检测模型大多依赖于封闭源数据、带有非标准重音标注的数据集，或通过众包方式依靠人类标注者判断来标记重音词语，这些方法都可能导致数据质量参差不齐，从而影响模型的表现。

为解决这个问题，研究团队开发了TINYSTRESS-15K，这是一个专为句子重音检测设计的可扩展合成数据集，包含约15小时的语音。这个数据集是如何创建的呢？首先，研究团队从TinyStories数据集中提取句子作为基础文本；然后，他们指导GPT-4o-mini为每个句子提供两种不同的重音词选项，确保所选词语能够反映自然的句子重音，即在语义上显著影响句子的解释；最后，他们使用Google文本到语音API合成带有强调的语音，通过调整重音词的音量、持续时间和音高来模拟自然的语音重音。

这个自动化的数据生成流程就像是为AI模型创建了一本"说话的艺术"教材，教它如何辨识人类说话时的微妙语调变化。通过这种方式，研究团队能够生成大量多样化的数据，专门用于训练重音检测模型。

WHISTRESS模型的架构由两个主要组件组成：作为骨干的Whisper模型和新增的重音检测头部。Whisper模型负责将原始音频处理成隐藏表示，这些表示编码了语音、语言和韵律特征，既用于重音检测头部的输入，也用于生成Whisper的语音转录。重音检测头部则是一个可学习的组件，包含一个Whisper解码器块和一个全连接神经网络分类器。解码器块在Whisper模型的骨干编码器和解码器隐藏状态之间应用交叉注意力，学习有助于重音检测的声学和语言特征。分类器则是一个两层全连接神经网络，处理额外解码器块的输出，为每个词元分配重音标签（重音为1，非重音为0）。

在训练过程中，研究团队采用了一种巧妙的标签对齐程序。首先，将词级别的重音标签转换为与无错误转录词元对齐的词元级别标签。然而，Whisper生成的隐藏状态可能包含转录错误，这些错误会通过移动解码器输入词元而导致重音标签错位。为了保留这些在词级别仍具有声学信息价值的样本，研究团队过滤掉了Whisper生成的转录词长度与地面真实词长度不同的训练样本，同时允许词级别的转录错误。这种长度过滤方法可以减轻重音词的错误标记，从而确保可靠的监督。

与先前的方法不同，WHISTRESS的标签对齐程序仅依赖于训练前地面真实（即重音标签）和生成转录之间的松散词到词匹配作为预处理步骤，在推理过程中不需要对齐。值得注意的是，在任何阶段，它都不需要词级别的时间戳（即不需要时间对齐），因为Whisper本身就能将生成的词元与音频特征对齐。

为了深入了解WHISTRESS如何识别句子重音，研究团队分析了Whisper的内部表示，确定了哪些层捕获了语调特征，特别是音高、能量和持续时间。他们使用CREMA-D数据集的一个子集进行分析，该子集包含具有不同情感内容的语音样本，使语调特征在信号中更加突出。

对于能量和音高目标的分析，研究团队利用了Whisper编码器嵌入，这些嵌入捕获了纯声学特征，不受转录的条件约束。他们在75毫秒的窗口中计算基频（F0）和均方根（RMS）能量，步长为20毫秒，以与音频嵌入的帧率对齐。为了构建目标，他们对300毫秒窗口的F0应用最大池化，对RMS能量应用平均池化。对于每个窗口，在每一层，他们池化平均编码器嵌入，形成每个编码器层的相应嵌入和目标。

对于持续时间的分析，研究团队分析了Whisper解码器嵌入，假设持续时间与通过交叉注意力学习的文本-语音对齐相关。为了生成目标持续时间，他们使用WhisperX强制对齐语音信号，并提取转录中每个词的持续时间。然后，他们计算对应于每个词的平均解码器嵌入，为每个解码器层形成嵌入和目标。

研究结果显示，Whisper的更深层在其嵌入中捕获的语调信息较少。然而，当研究团队进一步探索语调信息与重音检测之间的关系时，他们发现使用中间层（第9层）的嵌入效果最佳，这表明在语调信息和语言知识的编码之间可能存在权衡。这一发现与之前关于wav2vec 2.0语音表示变换器模型的研究一致，该研究观察到声学和语义相关性在各层之间呈现相反的趋势。

为了评估WHISTRESS的性能，研究团队将其与多个竞争基线进行了比较，并在不同的数据集上进行了测试。他们使用了包括精确度、召回率和F1分数在内的标准分类指标，如果WHISTRESS模型将词的至少一个词元标记为重音，则认为该词被强调。

在TINYSTRESS-15K数据集上，WHISTRESS实现了0.909的F1分数，明显优于基线方法。在Aix-MARSEC语料库上，WHISTRESS也取得了0.961的F1分数，超过了先前的BLSTM分层网络和CRF模型。更令人印象深刻的是，尽管只在合成数据上训练，WHISTRESS在Expresso和EmphAssess基准测试中展示了强大的零样本泛化能力，在Expresso上超过了EmphaClass的性能。

这些结果证明了WHISTRESS方法的有效性和泛化能力。通过消除对强制对齐或人工标注的需求，WHISTRESS提供了一种更干净、更易于使用的方法来将句子重音检测集成到自动语音识别系统中。

总的来说，WHISTRESS代表了语音识别技术的一个重要进步，它不仅能识别说话者所说的内容，还能捕捉到如何说的微妙之处。这种能力对于各种应用都至关重要，从虚拟助手到语言学习工具，再到辅助听力障碍人士的技术，都能从中受益。随着语音交互在我们日常生活中变得越来越普遍，WHISTRESS这样能够理解人类语言细微差别的技术将成为构建更自然、更人性化的人机交互系统的关键一步。

对于希望进一步探索这项研究的读者，完整的代码、WHISTRESS模型权重和TINYSTRESS-15K数据集已经公开发布，可以通过项目页面(https://pages.cs.huji.ac.il/adiyoss-lab/whistress)获取。