告别复杂，回归简单：研究团队提出使用丰富数据和规则模型重新思考语音合成中的多音字处理

这项由谢里夫理工大学计算机工程系的Mahta Fetrat Qharabagh、Zahra Dehghanian和Hamid R. Rabiee教授团队完成的研究，发表于2025年5月19日的arXiv预印本平台（arXiv:2505.12973v1）。这项研究着眼于解决语音合成技术中一个看似微小却十分关键的问题：多音字消歧。

多音字是什么？想象一下英语中的"read"这个词，它在"I read a book yesterday"（我昨天读了一本书）和"I will read this book"（我将读这本书）中的发音完全不同。前者读作/r?d/，后者读作/ri:d/。这种拼写相同但根据上下文发音不同的词，就是语言学家所说的"多音字"或"同形异音词"。

在许多语言中，尤其是资源较少的语言（如波斯语），处理这类多音字一直是个棘手的问题。目前的挑战主要集中在两个方面：一是构建平衡且全面的多音字数据集费时费力且成本高；二是专门的消歧策略往往会引入额外的延迟，使它们不适合屏幕阅读器等需要实时响应的辅助工具。

Qharabagh教授团队的研究正是针对这两个问题提出了解决方案。他们的方法既实用又具有创新性，就像是在说："有时候，解决问题的最佳方式不是更复杂的技术，而是回归基础、注重速度和效率。"

首先，研究团队提出了一种半自动化的流程，用于构建专注于多音字的数据集。想象你在制作一本食谱书，但是专门收集那些容易混淆的菜肴——它们的名字相同但根据不同地区的烹饪习惯，做法和味道完全不同。这就是他们的HomoRich数据集，一个专注于波斯语多音字的丰富数据集。

更令人惊讶的是，研究团队并不满足于仅仅提升最先进的神经网络模型。他们提出了一个观点转变——利用离线的丰富数据来指导开发快速、基于规则的方法，这些方法特别适合对延迟敏感的辅助应用，如为视障人士服务的屏幕阅读器。

为了验证这一理念，他们改进了一个最知名的基于规则的石墨音素转换系统eSpeak，将其升级为一个支持多音字识别的快速版本——HomoFast eSpeak。结果令人振奋：无论是神经网络模型还是基于规则的系统，多音字消歧准确率都提升了大约30%。

想象一下这意味着什么：视障人士使用屏幕阅读器时，将能听到更加自然、准确的语音合成，而不是因为多音字识别错误而产生的怪异发音。这不仅提高了技术的可用性，更直接改善了特殊群体的生活质量。

让我们一起深入了解这项研究是如何在不牺牲速度的前提下，解决多音字这一棘手问题的。

一、研究背景与挑战

石墨音素转换（Grapheme-to-phoneme，简称G2P）是什么？简单来说，就是将书面文字转换为语音符号的过程。这就像是一个翻译官，负责把你看到的文字转化为语音合成系统能理解的"发音指南"。

想象你有一个智能助手，它需要朗读文字给你听。当它看到"read"这个词时，它需要决定是读成/r?d/还是/ri:d/。这个决定过程就是G2P转换的一部分，而多音字消歧则是这个过程中最具挑战性的环节之一。

在波斯语等许多语言中，这个问题更为复杂。为什么呢？因为在这些语言中，同一个书写形式可能对应多种不同的发音，而正确的选择完全取决于上下文。就像在特定地区，同一个手势可能根据场合有完全不同的含义一样。

研究团队指出，这个挑战主要表现在两个方面：

首先是数据稀缺问题。想象你想教一个外国人如何正确使用多音字，你需要提供足够多的例句，覆盖每个多音字在不同语境下的各种用法。更重要的是，这些例句需要保持平衡——每种发音都应该有足够多的例子。这样的数据集在资源匮乏的语言中极为罕见，因为构建它们需要语言专家投入大量时间进行标注，成本高昂。

第二个挑战是方法学上的。目前G2P转换主要有两种方法：基于规则的方法和神经网络模型。神经网络模型因其灵活性和学习能力而越来越受欢迎，但它们通常有一个致命缺点——推理延迟高。简单来说，它们思考得太慢了，不适合屏幕阅读器等需要实时响应的应用。想象一下，如果你的屏幕阅读器每读一个词都要思考几秒钟，使用体验会有多糟糕。

这就引出了研究团队的创新思路：与其一味追求复杂的神经网络模型，不如重新审视基于规则的方法，通过丰富的数据来提升它们在多音字处理上的能力，同时保持其固有的速度优势。

就像是选择了一条不同寻常的道路：不是用更强大的发动机（神经网络），而是通过优化现有的发动机（规则系统）并提供更好的路线图（丰富数据），使车辆能够更快、更准确地到达目的地。

二、数据集构建：从稀缺到丰富

构建一个高质量的多音字数据集，就像是要收集一本内容丰富、例句平衡的多语言词典，这通常是一项耗时且昂贵的工作。Qharabagh教授团队提出了一个实用的解决方案，将这个过程变得更加高效和经济。

他们的方法就像是一位聪明的厨师，不是从零开始准备每一道菜，而是巧妙地组合现有材料，加入一些创新元素，创造出丰富多样的菜单。具体来说，研究团队的数据准备过程包含以下几个环节：

首先，他们从KaamelDict开始，这是Qharabagh在之前的研究中引入的最全面的波斯语G2P字典。想象这个字典就像是一个巨大的食材库，研究团队需要从中筛选出最适合的"食材"。他们过滤出具有多种有效发音的单词，识别潜在的多音字。

接下来，通过人工审核，他们排除了两类单词：一是那些有多种普遍接受的发音但不需要消歧的单词（就像某些菜可以有不同的做法但本质是同一道菜），二是那些包含古老、诗意或很少使用的形式的单词（就像那些已经过时的食谱）。经过这一筛选，他们选出了285个既全面又实用的多音字单词。

构建数据集的下一个挑战是为每个多音字生成多样化且平衡的句子，覆盖不同的使用上下文，确保所有发音都有同等的代表性。这就像是要确保食谱书中的每种菜式都有足够多的变体，满足不同人的口味需求。

为了自动化这一过程，研究团队尝试使用大语言模型（LLM）为每种发音或含义生成句子。然而，他们发现即使给出明确的指令，生成的结果也往往偏向主流发音。这就像是算法总是倾向于推荐最受欢迎的菜谱，而忽略了那些同样重要但不那么常见的变体。

经过实验，他们发现将多音字嵌入到一个完整的句子中，暗示其预期含义，可以显著提高准确性。基于这一发现，他们采用了一种混合方法：首先让大约200名母语使用者为每个多音字的每种发音撰写五个上下文各异的句子，然后使用这些人工撰写的例子作为少量样本提示，指导LLM生成更多的句子。

为了进一步增强数据集并支持下游的文本转语音和G2P任务，他们还整合了三个广泛使用的波斯语语料库的句子：ManaTTS、GPTInformal和CommonVoice。这些补充旨在提高整体G2P准确率，特别是音素错误率（PER），并用来自不同语域的音素标注示例丰富语料库。

接下来是音素化的挑战——如何将文本转换为其对应的音素序列？研究团队利用他们之前在LLM驱动的G2P转换方面的工作，证明LLM可以帮助标记石墨与其音素的对应关系。他们使用了几种技术来增强LLM在G2P任务中的表现，包括上下文学习、少量样本示例、来自G2P字典的提示，以及最终的映射步骤，以生成目标音素格式。

平衡成本、可用性和质量，他们选择了GPT-4o作为LLM，它在音素错误率（PER）方面达到了6.43%，在多音字消歧准确率方面达到了64%，优于许多现有的波斯语G2P系统。

最终生成的HomoRich数据集包含528,891个带注释的波斯语句子，其中包括专注于多音字的数据和通用G2P数据。这个数据集覆盖了285个多音字单词，每个多音字与多种发音相关联：257个有两种变体，21个有三种，7个有四种。平均而言，每个多音字在超过1,000个不同的句子上下文中出现。为了避免对更频繁的发音产生偏见，他们为每个变体维持了平衡的样本数量。

这种数据构建方法就像是一位园丁，不仅仅是随机种植，而是精心设计一个花园，确保每种植物都有适当的空间和资源茁壮成长。通过结合人工智能和人类专业知识，研究团队创建了一个丰富、平衡的数据集，为解决多音字消歧问题提供了坚实的基础。

三、模型优化与创新

有了丰富的数据集，研究团队接下来面临的问题是：如何最有效地利用这些数据来提升G2P系统的性能，特别是在多音字处理方面？他们的答案是双管齐下：一方面优化神经网络模型，另一方面增强基于规则的系统。

### 神经网络模型：Homo-GE2PE

研究团队首先将目光投向了神经网络模型。他们选择了GE2PE，这是一个基于T5（Text-to-Text Transfer Transformer）的模型，在近期研究中已被证明在波斯语G2P任务上表现出色。想象T5就像一位精通多种语言的翻译专家，能够将一种"文本"（书面文字）转换为另一种"文本"（音素序列）。

研究团队通过一个三阶段的过程对GE2PE进行了进一步微调：

首先，他们在常规G2P子集上进行初始微调。这就像是让翻译专家先熟悉一般的翻译任务，掌握基本的规则和模式。

然后，进入第二阶段，他们使用LLM生成的多音字句子进行微调。这相当于向翻译专家提供更多关于特殊或有歧义表达的例子，帮助他们理解上下文如何影响翻译。

最后，在第三阶段，他们使用高质量的、人工撰写的多音字句子进行最终微调。这就像是由语言大师提供的最精确的例子，帮助翻译专家完善他们的技能。

这三个阶段分别使用了5、20和50个训练周期，学习率为5e-4，批量大小为32，整个训练过程在一台配备NVIDIA GTX TITAN X显卡和Intel i7-5820K CPU的机器上进行，总共耗时约24小时。

通过这种逐步微调的方法，他们创建了增强版的模型，命名为Homo-GE2PE，它不仅在一般的G2P转换上表现出色，还特别擅长处理多音字的消歧。

### 基于规则的系统：HomoFast eSpeak

然而，研究团队的真正创新在于他们对基于规则的系统的改进。他们指出，尽管神经网络模型强大，但在实时应用（如屏幕阅读器）中，基于规则的系统因其低延迟而具有不可替代的优势。

基于规则的系统就像是一本详细的食谱书，按照预定的步骤和规则进行操作，可以快速得出结果。相比之下，神经网络模型更像是一位思考型厨师，可能会做出更精细的决策，但需要更多的时间来考虑和权衡。

研究团队的核心洞察是：基于规则的系统最大的局限在于它们难以消歧多音字，因为它们缺乏或不存在语义或上下文理解。为了解决这个问题，他们提出了一种利用生成的数据集增强G2P系统多音字消歧能力的策略。

这个策略纯粹是统计性的，不依赖于神经模型或嵌入，使其成为提高基于规则方法的多音字准确率的完美解决方案，而不会牺牲其关键优势——速度和低延迟。

具体来说，他们的方法首先对数据集中的句子进行分词，去除停用词，然后构建一个数据库，将多音字的不同发音映射到经常与每种发音一起出现的上下文词列表。

对于一个新句子，他们计算其上下文词与每种发音的上下文列表之间的加权重叠，从而得出相似度分数。为了减轻对较长列表的偏见，他们通过相应上下文列表的长度对每个分数进行归一化。然后选择归一化分数最高的发音作为上下文最适合的发音。

他们将这种方法应用于广泛使用的eSpeak NG项目，选择该项目是因为其在现实世界应用中的相关性。eSpeak NG是一个紧凑、开源的文本到语音合成器，可在Linux、Windows、Android和其他平台上使用，支持100多种语言和口音，受益于各种语言社区的贡献。值得注意的是，它在开源NVDA屏幕阅读器中有一个附加组件，其波斯语G2P模块被伊朗大部分盲人社区在屏幕阅读器中广泛使用。

他们将增强版本命名为HomoFast eSpeak，如后续章节所示，它展示了出色的结果，表明为基于规则的TTS系统增强波斯语是一条可行的路径。

四、实验结果与分析

研究团队的创新方法取得了怎样的成果？让我们来看看实验结果和分析。

在这项研究之前，用于基准测试G2P系统多音字准确率的公开句子级数据集几乎不存在。研究团队采用了他们之前的LLM驱动的G2P工作中引入的SentenceBench作为主要基准。

首先，他们评估了现有G2P工具在SentenceBench基准上的表现。结果显示，只有两个模型在音素错误率（PER）方面表现良好：神经网络模型GE2PE和基于规则的工具eSpeak。然而，即使是这些模型，在多音字消歧方面的表现也比随机选择差。

为了解决波斯语G2P系统中多音字消歧的挑战，研究团队利用精心策划的多音字数据集增强了神经和基于规则的模型。具体来说，他们对GE2PE模型进行了微调，并提出了一个统计消歧模块集成到eSpeak中，从而产生了两个改进的变体：Homo-GE2PE和HomoFast eSpeak。

实验结果令人印象深刻：他们改进的GE2PE模型在多音字准确率方面实现了29.72%的提升，同时还降低了音素错误率（PER）。更值得注意的是，他们的统计消歧模块——完全没有任何神经成分或学习嵌入——在集成到基于规则的模型时，提供了相同水平的多音字准确率提升，同时保持了原有的推理速度。这凸显了高质量数据的价值，并显示即使是简单的统计技术，在强大数据集的支持下也能非常有效。

研究团队还仅使用他们的数据集微调了基础GE2PE模型（T5），称为Homo-T5。尽管他们的数据集比原始GE2PE研究中使用的500万样本合成数据集小一个数量级，但Homo-T5仍然实现了具有竞争力的音素错误率和高多音字准确率，证明了他们方法的质量和实用性。

另一个关键因素是推理速度。虽然Homo-GE2PE模型在准确性方面优于HomoFast eSpeak，但它的速度慢了几个数量级，使其不适合屏幕阅读器等实时应用。研究显示，eSpeak和HomoFast eSpeak是最快的模型，后者还受益于新添加的功能，可以在单次运行中处理更大的文本段落。

总体而言，实验结果表明，通过结合丰富的数据和适当的方法，可以显著提高G2P系统的多音字消歧能力，而不牺牲关键特性如速度和响应性。这对于屏幕阅读器等辅助技术具有重要意义，使它们能够提供更自然、更准确的语音合成，从而提高可用性和用户体验。

五、研究影响与未来方向

这项研究的影响远不止于技术改进，它触及到了技术可访问性和包容性的核心问题。想象一下，对于依赖屏幕阅读器的视觉障碍用户来说，听到自然、流畅且语义准确的语音是多么重要。每一次多音字被正确解读，都意味着减少了一次可能的误解和困惑。

研究团队的工作表明，有时候最有效的解决方案并不一定是最复杂或最前沿的技术。相反，通过巧妙地结合高质量数据和简单但高效的算法，可以实现显著的性能提升，同时保持实时响应能力。这种"快速而不花哨"的方法对于资源受限的语言和应用场景尤为重要。

然而，研究团队也指出了一些局限性。他们提到多音字消歧并不是波斯语中唯一的上下文相关挑战。另一个值得注意的挑战是正确处理Ezafe，这是一个连接词的音素，在语法和语义上连接词语。这是当前基于规则系统的主要弱点。

未来的研究方向可能包括设计既快速又具有语言学意识的基于规则方法，以解决像Ezafe处理这样的上下文敏感现象。解决这些挑战可能会使基于规则的G2P模型在自然度方面显著接近神经模型，同时保持对实际部署至关重要的速度优势。

最重要的是，这项研究强调了开放、高质量离线数据集的潜力，不仅可以训练神经模型，还可以丰富和现代化传统的基于规则系统。通过以CC0-1.0许可证发布所有资源，研究团队旨在促进低资源语言辅助技术的进一步研究和实际应用。

总的来说，这项研究展示了一种平衡技术进步和实际需求的方法。它提醒我们，有时候最有效的创新不是开发全新的复杂系统，而是明智地结合现有技术和丰富数据，创造既先进又实用的解决方案。对于依赖这些技术的用户来说，这种平衡可能意味着更好的体验和更高的生活质量。