
你有没有试过弹完一首曲子,想把它变成能打印出来的五线谱,结果发现软件转出来的东西惨不忍睹,到处都是三连音、休止符碎得七零八落,拍号一会儿变成四四拍一会儿又跳到三八拍?
这不是你的问题,是整个研究领域都还没攻克的问题。
把钢琴演奏的音频或者MIDI数据转换成一份干净、可读、能印出来的乐谱,这件事在音乐信息检索领域叫做演奏转乐谱转录。听起来好像该是个早就解决的基础功能,毕竟音乐转录软件都卖了几十年了,但事实是,直到今天,最好的算法在标准测试集上的平均错误率仍然在百分之十以上。新加坡国立大学的研究者Wei Zeng和Ye Wang最近发表的一篇论文,就是想在这个老问题上啃下一块硬骨头,他们管自己的方法叫DuET。
这篇论文的价值不只在于提出了一个新模型,更在于它指出了一个大家长期忽略的矛盾:乐谱里的音符信息和节拍信息,根本不是一个粒度的东西,但过去的方法大多试图用一套系统硬凑两者。
核心问题出在哪
先说说为什么这件事难。
人弹钢琴的时候,不会像节拍器那样精确。同样是四分音符,这一拍你可能弹得稍微拖后一点,下一拍又抢了半拍,这就是所谓的表现性演奏节奏。问题是,乐谱要求的是规整的节拍结构,一个音符要标记成几分音符、落在第几拍,取决于它在整个节拍框架里的位置,而不是它实际弹奏时长了多少毫秒。
这意味着,要把一段真实演奏变回乐谱,算法必须同时理解两件事:这个音符本身弹了多久,以及它所在的那个大的节拍背景是什么样的。这两件事的粒度完全不同。
音符层面的信息是离散的、一对一的:每一个音符对应乐谱里的一条记录,告诉你它的音高、时值、落在哪一小节。而节拍层面的信息是连续的、铺满整个时间轴的:拍子可以落在没有任何音符响起的那一瞬间,比如一个长音正在延续的中途,节拍照样在走。
打个比方,这就像你要同时画一幅画的轮廓和填充背景色。轮廓是一条条具体的线,画在具体的点上;背景色却要覆盖画布上的每一寸地方,哪怕那里什么线条都没有。如果你只会画轮廓,那些没有线条经过的空白地带,你根本不知道该填什么颜色,也就是说,你没办法判断某个时刻到底是不是在打拍子。过去大部分神经网络方法,恰恰只在音符所在的那些点上做预测,节拍落在音符之间的空隙时,只能靠后处理硬凑,误差自然就攒起来了。
论文里提到的几个对照方法能说明这一点。Liu等人2022年提出的神经节拍跟踪方法,在音符发生的瞬间预测节拍标签,然后用动态规划去推断那些没有音符对应的节拍位置,这其实是在给粒度不匹配打补丁。而Beyer和Dai在2024年的Transformer方法,用音符关联的小节信息隐式推断节拍结构,等于完全依赖音符层面的信号去猜整个节拍框架。还有Wachter等人的方法干脆换了个思路,直接要求外部提供一份节拍网格,省得自己猜,但代价是如果外部节拍跟踪器出错,误差会一路传导进后面的乐谱量化步骤。
在ASAP这个经典古典钢琴测试集上,Beyer和Dai的方法此前是最强基线,MUSTER指标(一种综合衡量音高、缺漏音、多余音、起始时间、结束时间误差的评分标准,数值越低说明转录越准确)的平均错误率是11.30%。DuET把这个数字压到了11.22%,看起来进步不大,但在作者自己新建的Gangqinpu数据集上,这个差距被显著拉开:从6.56%降到3.64%,几乎打对折。
一个二分的编码器
DuET解决这个粒度矛盾的方式,是干脆不再强求一套网络去同时处理两种粒度的信息,而是分别用两套编码器处理,再让它们互相"对话"。
具体来说,DuET有一个音符编码器*(专门处理离散的音符序列,每个音符带着音高、起始时间、时长、力度等信息),和一个帧编码器*(专门处理一个均匀的时间网格,每20毫秒一帧,记录这一时刻琴键是否按下、延音踏板状态等信息,哪怕这一帧没有任何新的音符响起)。
音符编码器善于建模音符和音符之间的关系,比如哪两个音是和弦、哪个音紧跟着哪个音;帧编码器善于捕捉连续的时间上下文,不管这个时刻有没有音符发生,它都能给出一个节拍判断。两者各司其职,然后通过双向交叉注意力*(一种让两个不同模块的信息互相读取、互相影响的神经网络机制)在每一层互相交换信息,让音符表示吸收一些时间背景,也让帧表示吸收一些音符关系。
这就像一个乐队里的指挥和鼓手分工合作。指挥盯着总谱上一个个具体的音符进场点,鼓手则一直稳定地打着底鼓,哪怕某一拍没有旋律乐器在响,鼓点照样存在。如果只有指挥没有鼓手,遇到长音或者休止符,整个乐队的节奏感就会飘,因为没有人在那些"空白时刻"锚定拍子。如果只有鼓手没有指挥,具体每个音符该怎么记谱、落在哪条线上又说不清楚。DuET做的事情,就是让这两个角色站在一起合奏,而不是让一个人身兼二职手忙脚乱。
消融实验(去掉某个模块看性能下降多少,用来验证这个模块到底有没有用)给出的数字很直接:去掉帧编码器分支,只用音符编码器,ASAP上的MUSTER平均错误率从8.68%涨到10.50%,Gangqinpu上从3.07%涨到3.64%。起始时间和结束时间误差也都跟着恶化,这说明帧级别的时间上下文确实在帮音符转录兜底。
解码阶段的设计也呼应了这个双分支思路。DuET用一个自回归解码器*(逐个预测输出,每一步依赖前面已经生成的结果)来逐个生成每个音符对应的乐谱属性,这个解码器的八层被分成四组,每组内交替访问音符记忆和帧记忆,奇数层看音符关系,偶数层看节拍上下文,轮流切换。这样每一组解码器层都能把音符间的相对关系和节拍背景结合起来做判断。
一把能同时量时间和量音高的尺子
光是分开两套编码器还不够,论文里第二个关键创新,是重新设计了Transformer里常用的位置编码方式。
位置编码*(告诉模型序列中每个元素相对位置关系的一种技术,没有它,Transformer分不清谁在前谁在后)在传统做法里,通常用的是序列索引,也就是第几个音符、第几帧这种计数方式。但作者指出一个很直接的问题:序列索引根本不代表真实的时间距离。
想象你把一串音符按照出现顺序编号,1号音符和2号音符可能是同时按下的和弦音,间隔是零秒;但也可能2号音符是等了整整三秒才弹下去的。序列编号上它们都只相差1,可实际的时间跨度天差地别。这就好比你用"第几个路口"来描述两栋楼之间的距离,而不是用"多少米",如果路口间距忽长忽短,这种计数方式压根没法告诉你真实距离有多远。
为了解决这个问题,作者提出了TimeRoPE*(一种把旋转位置编码的坐标从序列索引换成真实演奏时间的方法,让模型直接感知两个元素之间隔了多少毫秒),把音符和帧的位置坐标统一替换成基于真实演奏时间的坐标,单位是20毫秒一帧的倍数。这样一来,不管是两个音符之间,还是一个音符和一帧之间,模型看到的位置差异都是真实的时间距离,而不是序列编号上那种失真的计数。
但音符和帧还有一个本质区别:音符除了有时间坐标,还有音高坐标,而一帧往往同时包含多个音高的活动,没有唯一的音高可言。于是作者又在TimeRoPE基础上进一步设计了TPRoPE,也就是时间音高旋转位置编码*(在注意力机制的向量空间里,同时用时间差和音高差两组坐标做旋转编码,分别捕捉音符之间的时间关系和音高关系),只用在音符和音符之间的自注意力,还有解码器读取音符记忆的交叉注意力环节。
这里有一个细节很有意思,论文把每个注意力头的维度一分为二,前一半专门旋转编码时间差,后一半专门旋转编码音高差,两部分独立计算,互不干扰。这相当于给模型配了两把尺子,一把量时间上的远近,一把量音高上的高低,两把尺子同时用但各量各的,不会相互混淆。
消融实验显示,这套时间音高位置编码配合交替访问两种记忆的设计,效果最好:在ASAP上把只用时间编码方案时13.68%的MUSTER平均误差压到了8.68%,在Gangqinpu上从3.57%降到3.07%。但结果也不是处处一致,论文很坦诚地写道,如果解码器只固定访问一种记忆(只看音符或者只看帧),时间音高编码的收益反而不稳定,有时甚至更差。这说明位置编码的设计和解码器的信息访问方式是绑在一起起作用的,不能拆开单独调优。
被忽视的流派:流行钢琴曲
这篇论文还有一个容易被忽略但其实很重要的贡献,是它没有只盯着古典音乐数据集打转。
过去几乎所有PM2S研究都用ASAP这类经典曲库做训练和评测,这些数据集里几乎清一色是贝多芬、肖邦这类古典作品。但现实世界里,真正缺乏配套乐谱、最需要自动转录的,往往是流行钢琴曲,古典曲目反而因为年代久远、版权过期,乐谱资源一直很充足。
这就像图书馆藏书的分布和读者实际的借阅需求完全不匹配,架子上摆满了没人借的古籍善本,而大家真正想找的畅销小说却总是断货。研究资源长期堆在古典曲库上,等于是在给一个本来就不缺货的领域继续囤货,而真正有需求的流行音乐转录场景,却迟迟没有合适的训练数据。
为此,作者构建了一个叫Gangqinpu的数据集,包含一万八千七百多对演奏和乐谱,覆盖流行、古典等多种风格,并且特别侧重流行钢琴曲。这些音频对应的演奏MIDI是用另一个开源的音频转MIDI模型Transkun v2转录出来的,这样处理也让后续的PM2S模型训练在数据源头上更一致。正是在这个更贴近真实应用场景的数据集上,DuET相较最强基线的提升最为明显,从6.56%降到3.64%,几乎是腰斩。
这个结果某种程度上也印证了论文开头的判断:学术界长期聚焦古典音乐评测,可能掩盖了方法在真实多样化场景下的真实表现差距。
训练中的两个"捣乱"技巧
论文里还有两个容易被忽视但确实有用的训练技巧,值得单独说一下。
一个是输入遮盖*(训练时故意隐藏一部分输入信息,强迫模型学会从剩余信息里推断,防止模型过度依赖某一类特征),DuET在训练时会以10%的概率随机遮住某个小节里所有音符的具体内容,只留下位置坐标,逼着模型学会从上下文而不是单纯死记硬背音符本身的内容去推断乐谱属性。
另一个是解码器历史遮盖,概率设得很高,达到75%,专门针对解码器已经生成的那部分乐谱记录做遮盖。这个设计背后的逻辑是防止模型过度依赖自己刚刚预测出来的前文,如果前面预测错了一个音符的拍号,后面所有依赖这个错误上下文的预测都会跟着错,这叫误差累积。消融实验显示,去掉这个历史遮盖后,起始时间误差明显上升,说明它确实在削弱这种依赖链条。
这有点像学生做连续应用题时,老师故意不让他直接抄上一题的答案去做下一题,而是要求他每一步都重新审视题干本身。如果允许无限制地依赖上一步结果,一旦第一步算错,后面全盘皆错;而如果经常被要求脱离上一步重新判断,模型反而会学得更稳健,不容易被一个局部错误带偏。
从论文公布的消融数据看,去掉这两种遮盖机制中的任意一个,MUSTER平均错误率在两个数据集上都会上升,但也并非完美无缺,比如去掉输入遮盖后,Gangqinpu上的音符缺漏和多余错误反而有所改善,说明这类正则化技巧的收益也有权衡,不是全局最优。
实验结果一览
下面这张表格摘录了论文中最核心的对比结果,数值是MUSTER平均错误率(越低越好)。
在ASAP数据集上,MuseScore软件自带转录功能的错误率是23.35%,两种基于隐马尔可夫模型的方法(分别针对J-pop风格和古典风格训练)分别是14.27%和13.95%,神经节拍跟踪方法是28.04%,Beyer和Dai的Transformer方法是11.30%,DuET达到了11.22%,略优于此前最强方法。
在Gangqinpu数据集上,差距被明显拉开:MuseScore是12.48%,两种HMM方法都是6.56%,神经节拍跟踪方法是11.98%,Beyer和Dai的方法是8.65%,DuET则降到了3.64%,是对照方法里唯一进入个位数误差区间、而且远低于次优结果的模型。
从细分指标看,DuET在起始时间误差、结束时间误差、时值误差、声部分配误差这几项上,在两个数据集上都拿到了最低或接近最低的成绩,这也印证了论文开头的判断:这个方法真正擅长的是时间和节拍相关的属性,而不是音符缺漏或多余这类检测层面的问题。事实上,论文自己也坦承,DuET在缺漏音符和多余音符这两项指标上,表现并不总是最好,有些基线方法反而更优。这说明双编码器和新位置编码主要解决的是时间定位精度问题,而不是从根本上消除了所有类型的转录错误。
写在后面
读完这篇论文,最触动我的其实不是DuET本身的架构设计,而是它指出的那个常被忽视的粒度错配问题。
很多时候我们处理跨模态或跨粒度的任务,下意识的做法是硬套同一套网络结构去兼顾所有信息,仿佛数据本身的结构差异不重要,只要模型足够大、训练足够久就能自己学出来。DuET的思路提醒我,承认两种数据天生粒度不同,分别设计专门的处理模块,再搭桥让它们对话,可能比硬凑一套万能架构更诚实也更有效。
另一个值得记一笔的细节是,论文的消融实验并不避讳展示方法在某些子指标上并不占优,比如时值误差上Note encoder only在Gangqinpu上反而比完整DuET表现更好,这种坦诚的局部失败反而让整篇论文的可信度更高。做研究如果只挑漂亮数字讲故事,读者反而更容易怀疑水分。
论文最后也提到,降拍(downbeat,也就是每个小节的第一拍)的转录精度仍然是个待改进的方向,而且目前的评测依然局限在钢琴这一件乐器上。如果换成弦乐四重奏或者爵士即兴,音符和节拍之间的关系会复杂得多,这套双编码器加双重位置编码的思路还能撑得住吗?这是个我也说不准答案、但很想看到有人继续追问下去的问题。
Q&A
Q1:DuET是什么?
A:DuET是新加坡国立大学团队提出的一种钢琴演奏转乐谱模型,它用音符编码器和帧编码器分别处理音符信息和节拍信息,再通过交叉注意力让两者互相结合,从而提升乐谱转录的准确性。
Q2:DuET相比之前的方法提升有多大?
A:在Gangqinpu数据集上,DuET把MUSTER平均错误率从此前最强方法的6.56%降到了3.64%,接近腰斩;在ASAP古典钢琴数据集上则从11.30%小幅降到11.22%。
Q3:Gangqinpu数据集和ASAP数据集有什么区别?
A:ASAP主要是古典钢琴曲目,而Gangqinpu是作者新构建的数据集,包含约1.9万对演奏与乐谱,覆盖流行、古典等多种风格,特别补充了古典曲库长期缺失的流行钢琴音乐场景。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。