希腊国立雅典理工大学突破音乐AI偏见：让机器真正听懂全世界的音乐

这项由希腊国立雅典理工大学电子与计算机工程学院的Angelos-Nikolaos Kanatas、Charilaos Papaioannou和Alexandros Potamianos教授团队主导的研究，于2025年6月发表在第26届国际音乐信息检索大会（ISMIR 2025）上。有兴趣深入了解的读者可以通过arXiv:2506.17818v1访问完整论文，或在Hugging Face平台体验他们发布的CultureMERT-95M和CultureMERT-TA-95M模型。

当我们打开音乐软件时，推荐算法似乎总能精准地猜出我们的喜好。但有没有想过，这些智能音乐系统其实存在着一个巨大的盲区？它们就像一个只在西方长大的音乐评论家，虽然对流行音乐、摇滚乐了如指掌，但面对希腊传统音乐、土耳其马卡姆音乐或印度古典音乐时，却常常张口结舌，无法准确理解这些音乐的精妙之处。

这正是雅典理工大学研究团队要解决的问题。他们发现，目前的音乐AI系统就像戴着有色眼镜的听众，主要在西方音乐数据上训练，对其他文化的音乐传统理解有限。这种局限性不仅影响了全球音乐推荐系统的准确性，更可能导致丰富多彩的世界音乐文化在数字时代被边缘化。

为了打破这种文化壁垒，研究团队开发了CultureMERT-95M，这是一个经过多文化适应训练的音乐基础模型。他们采用了一种创新的"两阶段持续预训练策略"，就像教一个只会说英语的人逐步学会多种语言一样，让AI系统在保持原有能力的同时，学会理解来自希腊、土耳其和印度等不同文化传统的音乐语言。

研究结果令人振奋。CultureMERT在处理非西方音乐分类任务时，平均准确率提升了4.9%，超越了之前的最先进方法，同时在西方音乐基准测试中几乎没有性能下降。这意味着AI终于开始真正"听懂"世界音乐的多样性了。

一、破解音乐AI的文化偏见难题

现在的音乐AI系统面临着一个令人尴尬的困境，就像一位只在巴黎学过厨艺的大厨，虽然能做出精美的法式料理，但面对中式炒菜或印度咖喱时却束手无策。当前主流的音乐AI模型，比如广受欢迎的MERT-v1-95M，主要在包含1000小时西方音乐的数据集上训练。这些模型在处理流行音乐、摇滚乐或古典音乐时表现出色，但遇到具有独特调式系统、微分音程和复杂节拍模式的非西方音乐时，就显得力不从心。

这种偏见并非故意为之，而是数据可得性和历史发展路径造成的。西方音乐在数字化和数据收集方面起步较早，形成了庞大的标注数据库，而许多传统音乐文化的数字化进程相对滞后。结果就是，AI系统在学习过程中接触到的音乐"词汇"主要来自西方文化，自然难以理解其他音乐语言的"语法"和"修辞"。

土耳其马卡姆音乐就是一个典型例子。这种音乐采用了与西方十二平均律完全不同的音程体系，包含了四分音等微分音程，这些细微的音高变化对表达特定情感至关重要。印度古典音乐也有类似情况，其拉格（raga）体系和塔拉（tala）节拍系统形成了极其复杂而精妙的音乐结构。当训练数据中缺乏这些音乐传统时，AI模型就像一个色盲的画家，无法准确识别和表现这些音乐的独特色彩。

更关键的是，这种偏见不仅仅是技术问题，还可能影响文化多样性的保护和传承。当音乐推荐系统无法准确理解和推广非西方音乐时，这些宝贵的音乐传统可能在数字时代逐渐被边缘化，年轻一代接触和学习传统音乐的机会也会减少。

研究团队认识到，要解决这个问题，不能简单地从零开始训练一个新模型，那样既耗费资源又可能丢失已有的优秀能力。他们需要找到一种方法，让现有的优秀模型在保持原有技能的同时，学会理解新的音乐文化。这就引出了他们的核心解决方案：持续预训练技术。

二、如同给音乐家开设文化进修班的持续学习法

研究团队采用的持续预训练技术，就像给一位已经精通古典音乐的钢琴家安排文化进修班，让他在不忘记原有技能的情况下，学会演奏爵士乐、布鲁斯或世界音乐。这种方法的巧妙之处在于，它避免了"从零开始"的低效率，同时也防止了"学新忘旧"的问题。

传统的机器学习方法面临一个著名的"灾难性遗忘"问题。当AI模型学习新技能时，往往会忘记之前掌握的知识，就像一个学生在准备新考试时把之前学过的科目全部忘光。研究团队通过精心设计的两阶段训练策略来避免这个问题。

第一阶段可以比作"适应性预习"。研究团队首先让模型在一个相对较小的多文化数据集上进行初步学习，这个数据集包含100小时的音乐，其中80%来自希腊、土耳其和印度传统音乐，20%来自西方音乐。这种混合比例的设计非常巧妙，就像在外语学习班中，老师会用学生的母语来解释新语言的概念，这样学生更容易理解和接受。

在这个阶段，研究团队还采用了"分层解冻"的策略。他们并不是一下子让模型的所有部分都参与学习，而是先让负责基础音频特征提取的部分和词汇编码部分开始学习，保持高层的语义理解部分暂时冻结。这就像教一个钢琴家新的演奏技巧时，先让他熟悉新的手指动作和基本技法，再逐步整合到完整的音乐表达中。

第二阶段是"全面整合训练"。在模型初步适应了多文化音乐特征后，研究团队解冻所有参数，让模型在完整的650小时多文化数据集上进行全面学习。这个阶段就像进修班的高级课程，学员需要将之前学到的基础技能整合运用，形成真正的跨文化音乐理解能力。

整个训练过程中，研究团队还使用了"学习率重新预热"技术。简单来说，这就像给学习者适当的休息和渐进式的挑战调整。当模型开始学习新的音乐文化时，研究团队会降低学习的激进程度，让模型有足够时间适应新的数据分布，然后再逐步提高学习强度。这种方法避免了模型因为过度激进的学习而产生混乱或遗忘。

为了验证训练效果，研究团队在六个不同的音乐数据集上测试了模型性能，包括西方音乐的MagnaTagATune和FMA-medium数据集，以及代表东地中海和印度次大陆音乐传统的Lyra、Turkish-makam、Hindustani和Carnatic数据集。测试任务主要是音乐自动标注，就像让AI听一段音乐后，判断其风格、乐器、情感等特征。

三、任务算术：在权重空间中融合不同文化的音乐智慧

除了持续预训练方法，研究团队还探索了一种更加优雅的解决方案：任务算术。这种方法就像制作鸡尾酒一样，通过精确调配不同成分的比例，创造出全新的口味体验。

任务算术的基本思路是，先为每种音乐文化分别训练专门的模型。研究团队分别创建了MakamMERT（专精土耳其马卡姆音乐）、CarnaticMERT（专精南印度古典音乐）、HindustaniMERT（专精北印度古典音乐）和LyraMERT（专精希腊传统音乐）四个单一文化适应模型。然后，通过数学运算将这些专业模型的知识融合到一个统一的多文化模型中。

这个过程的数学原理虽然复杂，但可以用一个简单的比喻来理解。假设原始的MERT模型就像一位通用音乐家的"技能点分配表"，记录了他在各个音乐能力上的得分。当这位音乐家专门学习土耳其音乐后，他的技能点分配会发生变化，某些与土耳其音乐相关的能力会显著提升。任务算术的做法是，计算这种变化（专业模型减去原始模型），得到一个"土耳其音乐技能提升向量"。

同样地，研究团队也计算出了"印度音乐技能提升向量"、"希腊音乐技能提升向量"等。最后，他们将所有这些技能提升向量按照一定比例加到原始模型上，就得到了一个融合所有文化音乐智慧的新模型。这就像一位音乐家同时获得了多个专业导师的指导，在保持基础能力的同时，掌握了多种音乐传统的精髓。

任务算术方法的最大优势是效率。一旦有了各个单一文化的专业模型，就可以通过简单的数学运算快速生成多文化融合模型，而不需要重新进行耗时的训练过程。这就像有了不同调料的浓缩精华后，可以快速调配出各种口味的菜肴，而不需要每次都从原材料开始制作。

研究团队发现，任务算术的效果与持续预训练方法非常接近，在某些任务上甚至表现更好。特别是在西方音乐基准测试中，任务算术版本的CultureMERT-TA模型甚至略微超越了原始MERT模型，同时在非西方音乐任务上也保持了优秀的性能。

这个发现具有重要的实际意义。它意味着在资源有限的情况下，研究者和开发者可以先针对特定音乐文化训练专门的模型，然后通过任务算术快速构建多文化适应模型，大大降低了开发成本和技术门槛。

四、音频令牌揭示的跨文化音乐密码

为了更深入地理解不同音乐文化之间的关系，研究团队进行了一项有趣的"音乐DNA分析"。他们使用EnCodec音频编码器将不同文化的音乐转换为数字"令牌"，然后分析这些令牌的分布模式，就像生物学家分析不同物种的基因序列来研究进化关系一样。

这种分析揭示了一些令人惊讶的发现。首先，西方音乐（如流行音乐和摇滚音乐）在令牌层面表现出高度相似性，它们就像同一个音乐家族的不同分支，共享着相似的"音乐基因"。然而，这些西方音乐与非西方传统音乐之间却存在明显的差异，就像不同语系的语言在语音结构上的根本差别。

更有趣的是，研究团队发现印度古典音乐的两个分支——北印度的Hindustani音乐和南印度的Carnatic音乐——在令牌层面显示出最强的相似性。这种相似性反映了它们共同的文化根源和理论基础，尽管在实际演奏风格和传统上存在差异，但在基本的音乐结构层面，它们确实是"血脉相通"的。

土耳其马卡姆音乐与印度古典音乐也表现出一定程度的相似性，这可能反映了历史上丝绸之路文化交流的影响。两种音乐传统都强调微分音程、即兴演奏和复杂的调式系统，这些共同特征在数字化的音乐令牌中得到了体现。

希腊传统音乐（Lyra）的位置最为独特。虽然地理上它更接近西方，但在音乐令牌分析中，它与非西方传统音乐的相似度更高。这个发现验证了音乐学家的观点：希腊音乐作为东西方文化的交汇点，融合了多种音乐传统的元素。

这些令牌相似性分析不仅具有学术价值，还为实际应用提供了重要指导。研究团队发现，令牌相似性可以预测跨文化迁移学习的效果。当两种音乐文化在令牌层面越相似，为其中一种文化训练的模型就越容易适应另一种文化。这为未来的模型开发提供了重要参考：在资源有限的情况下，可以优先选择令牌相似度高的音乐文化进行联合训练。

五、跨文化音乐理解的惊人发现

研究团队的实验结果展现了一幅令人惊叹的跨文化音乐理解图景。CultureMERT在所有非西方音乐任务上都实现了显著提升，平均ROC-AUC和平均精度指标提升了4.9%，这在机器学习领域是一个相当可观的进步。更重要的是，这种提升是在几乎没有损失西方音乐理解能力的前提下实现的，西方音乐基准测试的性能仅下降了0.05%。

单一文化适应模型的表现揭示了跨文化迁移学习的有趣规律。CarnaticMERT（南印度古典音乐专门模型）表现出了最强的跨文化迁移能力，不仅在本领域表现优秀，还能很好地处理北印度音乐、土耳其音乐甚至希腊音乐。这种"一专多能"的特性可能源于南印度古典音乐丰富的调式系统和复杂的节拍结构，这些特征为理解其他传统音乐提供了良好的基础。

土耳其马卡姆音乐和印度古典音乐之间表现出了强烈的相互理解能力，这验证了之前令牌分析的发现。MakamMERT在处理印度音乐时表现出色，而HindustaniMERT和CarnaticMERT在土耳其音乐任务上也有不俗表现。这种相互理解可能源于两种音乐传统都重视微分音程、调式系统和即兴演奏的共同特征。

然而，希腊传统音乐呈现出了不同的模式。虽然LyraMERT在跨文化任务上有所提升，但幅度相对较小。有趣的是，只有多文化训练的CultureMERT和任务算术版本的CultureMERT-TA在希腊音乐任务上超越了原始MERT模型。这表明希腊音乐可能需要更加综合的文化理解才能得到准确处理，单一文化的训练可能无法充分捕捉其独特性。

任务算术方法的表现尤其令人印象深刻。CultureMERT-TA不仅在非西方音乐任务上与CultureMERT表现相当，在某些西方音乐和希腊音乐任务上甚至表现更好。这个结果具有重要的实际意义，因为任务算术不需要额外的训练时间和计算资源，只需要简单的权重融合操作。

研究团队还发现了最优缩放因子的重要性。在任务算术中，不同的缩放因子会显著影响最终模型的性能。通过系统性的实验，他们发现λ=0.2是最优选择，这个参数值在所有任务上都能提供稳定且优秀的性能。过大的缩放因子（如λ=1.0）会导致性能急剧下降，说明文化特异性知识的融合需要精确的平衡。

六、计算效率与训练策略的深度优化

研究团队面临的一个重要挑战是计算资源的限制。原始MERT模型使用每步1.5小时的大批量训练，而研究团队只能使用每步160秒的小批量训练。这种资源限制迫使他们开发出更加高效的训练策略。

两阶段训练策略的设计充分考虑了这种计算约束。在第一阶段，模型只需要处理100小时的数据，而且只有部分参数参与训练，这大大减少了计算需求。更重要的是，这种分阶段的方法避免了小批量训练可能导致的不稳定性问题。

学习率重新预热技术在这种资源受限的环境下发挥了关键作用。研究团队发现，直接在新数据上继续训练会导致严重的性能下降和训练不稳定。通过重新预热学习率，模型能够逐步适应新的数据分布，避免了"学习冲击"。

第一阶段使用10%的预热期和相对激进的学习率调度，鼓励模型快速适应新的音乐特征。第二阶段则采用更保守的1%预热期和较低的最大学习率，确保全参数训练的稳定性。这种策略就像体育训练中的"周期化训练"，通过不同阶段的强度调节实现最优效果。

西方音乐回放策略也被证明是关键因素。在第一阶段混入20%的西方音乐数据，有效缓解了分布偏移带来的灾难性遗忘问题。这种策略的比例选择经过了精心调试，太少无法防止遗忘，太多又会影响新文化的学习效果。

研究团队还采用了多种训练稳定性技术，包括梯度裁剪、预层归一化和批内噪声混合增强。这些技术的组合使用确保了在资源受限环境下的训练稳定性，同时提高了模型的泛化能力。

七、开源贡献与未来音乐AI的展望

研究团队的开源精神体现了学术界推动技术普及的责任感。他们在Hugging Face平台上发布了CultureMERT-95M和CultureMERT-TA-95M两个模型，任何研究者或开发者都可以免费使用这些模型进行进一步研究或应用开发。

这种开源策略对推动世界音乐研究具有重要意义。许多非西方音乐文化的研究者之前受限于缺乏合适的计算工具，现在可以使用这些预训练模型快速开展相关研究。这种技术民主化可能会催生更多跨文化音乐理解的创新应用。

研究团队也诚实地讨论了当前方法的局限性。EnCodec编码器本身是在西方音乐数据上预训练的，这可能限制了它对非西方音乐特征的编码能力。未来的研究可能需要开发专门针对多文化音乐的音频编码器。

计算资源的限制也意味着研究规模仍有扩展空间。虽然650小时的多文化数据已经带来了显著改进，但与大型语言模型动辄使用数千万小时训练数据相比，音乐AI领域还有巨大的发展潜力。

研究团队提出了几个重要的未来研究方向。首先是扩展到更多音乐文化，特别是非洲、拉丁美洲和东南亚的传统音乐。其次是探索生成式任务，比如跨文化音乐风格转换或多文化融合音乐创作。第三是研究更细粒度的音乐理解任务，如旋律分析、和声进行识别等。

另一个重要方向是研究不同计算预算下的最优策略。研究团队想知道，如果有更充足的计算资源，两阶段训练策略是否仍然必要，或者可以开发出更直接高效的训练方法。

伦理考量也是未来发展的重要方面。研究团队强调，在部署这些模型到实际应用中时，需要仔细考虑文化代表性、数据使用权限和社区同意等问题。音乐作为文化遗产的重要组成部分，其数字化和AI化应用必须尊重相关文化社群的权益。

说到底，这项研究不仅仅是技术进步，更是对音乐文化多样性的致敬和保护。通过让AI系统真正理解世界音乐的丰富性，我们正在构建一个更加包容和多元的数字音乐未来。当音乐推荐系统能够准确理解和推广来自世界各地的音乐传统时，我们每个人都有机会在日常生活中接触到更广阔的音乐世界，这种跨文化的音乐体验最终会让我们的生活更加丰富多彩。

对于普通音乐爱好者来说，这意味着未来的音乐应用可能会为我们推荐更多元化、更精准的世界音乐。对于音乐教育者和研究者来说，这些工具将大大降低跨文化音乐研究的技术门槛。对于音乐产业来说，这种技术进步可能会开启全新的市场机会，让更多优秀的传统音乐获得全球范围的关注和欣赏。

有兴趣的读者可以访问研究团队的GitHub仓库和Hugging Face页面，体验这些模型的实际效果，或者将它们应用到自己的音乐项目中。毕竟，技术的最终价值在于它能为人类文化的传承和发展做出多大贡献。

Q&A

Q1：CultureMERT是什么？它能做什么？ A：CultureMERT是希腊雅典理工大学开发的多文化音乐AI模型，它能够理解和分析来自不同文化的音乐，包括西方流行音乐、希腊传统音乐、土耳其马卡姆音乐和印度古典音乐。它主要用于音乐自动标注、风格识别和音乐推荐等任务，比现有模型在非西方音乐理解方面提升了4.9%的准确率。

Q2：这个研究会不会让音乐推荐更准确？ A：是的，特别是对于非西方音乐。目前的音乐推荐系统主要基于西方音乐训练，对其他文化音乐理解有限。CultureMERT能够更准确地识别和分类不同文化的音乐特征，这意味着未来的音乐应用可能会为用户推荐更多样化、更精准的世界音乐，让每个人都有机会发现来自不同文化的优美音乐。

Q3：普通人如何使用这个技术？有什么要求？ A：研究团队已经在Hugging Face平台开源了CultureMERT-95M和CultureMERT-TA-95M模型，任何人都可以免费使用。开发者可以将这些模型集成到音乐应用中，改善跨文化音乐理解能力。对于普通用户，可能需要等待音乐软件公司将这种技术集成到他们的产品中，届时就能享受更准确的多元化音乐推荐服务。