物声相应：交互式感知物体的图像到音频生成技术——加州大学伯克利分校与字节跳动联合研究突破

在我们日常生活中，当我们看到一个繁忙的城市街道时，我们自然能分辨出不同物体发出的声音——汽车喇叭声、脚步声、人群的交谈声。这种将视觉物体与其相应声音联系起来的能力对人类来说非常自然，但对计算机模型而言却是一项巨大挑战。2025年6月，由加州大学伯克利分校的Tingle Li和Baihe Huang，以及字节跳动的Xiaobin Zhuang、Dongya Jia、Jiawei Chen、Yuping Wang、Zhuo Chen，再加上伯克利分校的Gopala Anumanchipalli和字节跳动的Yuxuan Wang共同完成的这项研究，发表在了第42届国际机器学习会议上，提出了一种名为"Sounding that Object"的创新方法，让计算机能够更准确地为复杂场景中的特定物体生成声音。

想象一下，你正在使用一款视频编辑软件，需要为一个城市街景视频添加合适的环境音。传统方法可能会为整个场景生成一段混合的街道噪音，但如果你想强调画面中特定的元素——比如一辆汽车的引擎声，或者行人的脚步声——这就变得相当困难了。现有的技术往往要么忽略了细微的声音（如脚步声），要么将共同出现的事件（如人群噪音和风声）捆绑在一起，即使你只想要其中一种声音。

为什么会这样呢？这是因为真实世界的声音在复杂场景中常常是不平衡且相互混淆的。就像在一个嘈杂的咖啡厅里，你可能很难单独听清某个人的说话声一样，计算机也难以从视觉场景中准确分离出各个声音源。

研究团队提出的解决方案借鉴了人类是如何解析复杂声景的。当我们听到街道上的声音时，我们不仅处理整体的场景背景（比如城市环境），还能分辨出单独的事件（如汽车喇叭声、脚步声）。基于这一观察，研究团队开发了一个交互式的物体感知音频生成模型，让用户可以在图像中选择特定物体，然后生成与之相对应的声音。

这个模型的核心在于将物体中心学习整合到条件潜在扩散模型中。简单来说，就像是教会计算机通过注意力机制在图像的不同区域与对应声音之间建立联系。想象一下，如果你有一张街道照片，模型能够"注意"到照片中的汽车，并将其与引擎声关联；注意到行人，并将其与脚步声关联。这种关联是通过一种叫做"多模态点积注意力"的技术实现的，这种技术让模型通过自我监督学习理解图像区域和声音之间的对应关系。

在实际使用时，用户可以通过分割蒙版（想象成一种数字"荧光笔"，用来在图像上标记特定物体）来指定感兴趣的物体。研究团队使用了一个名为SAM（Segment Anything Model）的工具来生成这些蒙版，用户只需简单点击几下鼠标就能选择特定物体。这种交互方式使得即使是微小的声音也能被准确捕捉，因为模型会专注于被选中的物体区域。更重要的是，即使用户选择了多个物体，模型也能自然地将它们的声音混合成一个连贯的环境声音，而不仅仅是简单地叠加独立的音频片段。

研究团队进行了大量的定量评估和人类感知研究，结果表明他们的模型在声音-物体对齐方面显著优于现有基准模型。此外，研究还提供了理论分析，证明了他们的物体定位机制在功能上等同于分割蒙版，这为模型的工作原理提供了坚实的理论基础。

这项研究的创新之处不仅在于提高了音频生成的质量，更在于赋予了用户对生成过程前所未有的控制能力。无论是电影制作人想要为视频添加逼真的环境声，还是游戏设计师希望为虚拟世界创建沉浸式音效，这种技术都提供了一种更直观、更精确的方式来实现声音与视觉场景的完美结合。

以下，我们将深入探讨这项研究的具体方法、实验结果以及潜在应用，帮助你全面了解这项令人兴奋的技术突破。

一、研究背景：声音与视觉的天然联系

我们人类天生就能将所看到的物体与它们发出的声音联系起来。想象你走在森林里，看到一只鸟，即使没有立即听到声音，你的大脑也会自动联想到鸟鸣声。或者当你看到一辆摩托车驶过，你会自然地预期听到引擎的轰鸣。这种能力对我们理解周围环境至关重要，但计算机要实现这一点却并不容易。

现有的音频生成方法主要分为两类：基于视觉的模型和基于文本的模型。基于视觉的模型，如Sheffer和Adi在2023年提出的方法，通过分析整个视觉场景来生成单一的配音轨。这种方法的问题在于，它采用了一种"全局视角"，可能会忽略场景中细微但重要的声音源。就像你站在一个喧闹的派对中，很难同时听清所有声音一样，这些模型也容易遗漏细节。

另一方面，基于文本的模型，例如Liu等人在2023年的研究，则面临另一种挑战：当文本描述包含多个事件时，模型要么会遗漏某些声音，要么会将它们与其他声音混淆在一起。这就像你试图描述"一个婴儿在笑，同时一只小狗在叫"，但生成的声音可能只有婴儿的笑声，或者把婴儿的笑声和狗叫声混为一体，失去了各自的特点。

虽然有研究者尝试通过在扩散潜空间中手动重新调整各个声音事件的权重来缓解这些问题，但这种方法非常耗时且不实用，特别是对于大规模应用而言。本质上，这些挑战源于真实世界声音在复杂场景中的不平衡性和混淆性，使得区分不同声源变得困难。

研究团队的灵感来自于人类解析复杂声景的方式。当我们听到街道上的声音时，我们不仅处理整体的场景环境，还能识别出单独的事件。基于这一思路，他们提出了一个交互式物体感知音频生成模型，该模型基于物体中心学习理论，让用户可以在图像中选择特定物体，然后生成与之相对应的声音。

这种方法就像是给计算机配备了一双"智能耳朵"，能够专注于用户指定的视觉物体，并生成相应的声音。这不仅解决了遗忘或混淆声音事件的问题，还为用户提供了一种更加直观和精确的方式来控制音频生成过程。

二、研究方法：如何让计算机理解"这个物体该发出什么声音"

研究团队的方法核心在于将物体中心学习整合到条件潜在扩散模型中。这听起来可能有些复杂，让我们用一个简单的比喻来理解：想象你正在教一个外星人识别地球上的物体和它们发出的声音。你会怎么做？你可能会指着一辆汽车说："看，这是汽车，它发出的声音是这样的..."然后播放引擎声。接着指着一只狗说："这是狗，它叫起来是这样的..."然后模仿狗叫声。通过这种方式，外星人逐渐学会将视觉物体与对应的声音联系起来。

研究团队采用的方法基本上就是这个思路，只不过他们使用了更复杂的技术来实现这一点。他们的模型分为三个主要部分：条件音频生成模型、文本引导的视觉物体定位模型，以及理论分析部分。

条件音频生成模型是基于一种叫做"潜在扩散模型"的技术。简单来说，这就像是从一堆噪音中逐渐"提炼"出有意义的声音。想象你有一段充满静电噪音的录音，通过反复处理，你可以逐渐减少噪音，直到清晰地听到原始声音。这个模型就是这样工作的，它从随机噪声开始，然后通过多个步骤逐渐转变为所需的音频。

为了让模型理解"哪个物体应该发出什么声音"，研究团队使用了一种叫做"多模态点积注意力"的技术。这种技术让模型能够在图像的不同区域和对应的声音之间建立联系。就像你的注意力可以从一个物体转移到另一个物体一样，这种机制允许模型"关注"图像中的特定区域，并将这些区域与特定类型的声音关联起来。

在实际使用时，用户可以通过分割蒙版来指定感兴趣的物体。这些蒙版就像是数字"荧光笔"，用来在图像上标记特定物体。研究团队使用了一个名为SAM（Segment Anything Model）的工具来生成这些蒙版，用户只需简单点击几下鼠标就能选择特定物体。

最有趣的是，研究团队通过理论分析证明了他们的注意力机制在功能上等同于测试时的分割蒙版。这就像证明了两条不同的路径最终可以到达同一个目的地。这一理论基础确保了生成的音频与所选物体相对应，无论是使用模型的内部注意力机制还是用户提供的分割蒙版。

研究团队还引入了可学习的位置编码，以增强模型定位图像中物体的能力。这就像是给图像添加了一个坐标系统，使模型能够更准确地识别物体在图像中的位置。通过学习位置信息，模型可以更好地区分不同位置的物体，提高定位精度。

整个过程可以简单概括为：用户选择图像中的一个或多个物体，模型通过学习到的关联生成对应的声音。由于模型考虑了整个图像提供的背景信息，即使选择多个物体，生成的声音也会自然地融合为一个连贯的环境，而不仅仅是简单地叠加独立的音频片段。

三、如何训练这个"会听会看"的智能模型

训练这样一个复杂的模型就像是教导一个孩子同时学习视觉和听觉之间的联系，需要大量的实例和精心设计的学习方法。研究团队使用了AudioSet数据集作为主要数据源，这个数据集包含4,616小时的视频片段，每个片段都配有相应的标签和描述。

然而，原始数据集并不是完美的。想象你在教一个孩子认识动物时，如果你给他看一张狮子的照片，但同时播放的是大象的叫声，这会造成混淆。同样，如果视频中的视觉内容与音频不匹配，模型也会学到错误的关联。因此，研究团队进行了一系列的数据预处理步骤，确保音频和视觉内容之间有强烈的对应关系。

他们首先训练了一个音视频匹配模型，这个模型就像一个"质量检查员"，它能够评估视频中的视觉内容和音频是否匹配。通过这个模型，他们筛选出了匹配度高的视频片段。接着，他们使用了一个大型语言模型（类似于GPT）来重新表述视频描述，确保描述专注于可见的发声物体。此外，他们还过滤掉了包含人声（如唱歌、说话）、画外音和音乐的视频片段，因为这些音频与视觉内容的关联性较弱。

经过这些精细的处理步骤，数据集被缩减到748小时的高质量视频片段，这些片段在整个视频中都包含连续的声音，并且展示出高度的音视频对应关系。

训练过程中，模型学习将文本描述（如"狗在叫"）和图像区域（狗的位置）与相应的声音（狗叫声）关联起来。这就像是教导模型："当你看到这个区域（指向狗）并想要与'狗叫'相关的声音时，应该生成这样的声音..."。

研究团队使用了一种称为分类器自由引导的技术，这种技术在训练过程中会随机省略条件输入（如文本描述），使模型既能学习条件生成，也能学习无条件生成。这就像是教导孩子既能根据提示回答问题，也能在没有提示的情况下自行思考。

在测试阶段，当用户选择图像中的特定物体时，模型使用学习到的关联来生成相应的声音。由于模型考虑了整个图像提供的背景信息，即使选择多个物体，生成的声音也会自然地融合为一个连贯的环境，而不仅仅是简单地叠加独立的音频片段。

这种训练方法的创新之处在于它不仅让模型学会了生成声音，还学会了理解声音与视觉物体之间的复杂关系，使得用户可以以一种前所未有的直观方式控制音频生成过程。

四、实验结果：听听计算机的"耳朵"有多聪明

那么，这个交互式物体感知音频生成模型到底表现如何呢？研究团队进行了一系列全面的实验来评估模型的性能。

在定量评估方面，他们使用了几个关键指标来衡量模型的表现。首先是声音事件准确率（ACC），这个指标利用PANNs模型预测和采样声音事件逻辑，基于标注的标签计算整个数据集的平均准确率。简单来说，这就是看模型生成的声音是否与预期的声音类型相符。其次是弗雷切音频距离（FAD），这个指标衡量生成的音频在潜空间与真实音频的接近程度。还有库尔贝克-莱布勒散度（KL），这个指标评估生成音频与目标音频之间分布的一致性；以及生成音频的多样性指标——初始分数（IS）。最后是音视频对应性（AVC），衡量生成的音频与视觉上下文的匹配程度。

除了这些客观指标，研究团队还进行了人类感知研究来评估生成音频的质量和相关性。他们随机选择了100个生成样本，其中包括50个带有手动创建的特定物体分割蒙版的样本。这些样本由50名参与者进行评分，评分标准包括：整体质量（OVL）、与文本提示的相关性（RET）、与输入图像的相关性（REI）以及与所选物体的相关性（REO）。

结果令人印象深刻。在AudioCaps数据集上，与现有的基准模型相比，他们的模型在各项指标上都表现出色。特别是在ACC和REO指标上，他们的模型显著优于其他模型，这表明它能够更准确地将声音与图像中的特定物体对齐。

在主观评价中，他们的模型在所有评分标准上都获得了最高的平均评分，特别是在REO方面，表明它能够更好地将生成的声音与图像中的特定物体对齐。有趣的是，基准模型在REO方面获得了相似的分数，这表明它们将音频与物体级视觉线索联系起来的能力有限。

研究团队还进行了另一项人类研究，重点关注用户驱动的音频生成。他们要求5名有经验的参与者从单个图像（图2中的那个）生成"婴儿笑声和小狗叫声"，并测量所需的平均时间、尝试次数和主观满意度评分。结果显示，基于文本的基准模型通常会遗漏其中一种声音，需要多次调整提示，导致时间更长、满意度更低。相比之下，他们的方法所需的尝试次数更少，耗时更短，并获得了更高的满意度，即使对于已经熟悉提示操作的参与者也是如此。

在质性结果方面，研究团队展示了他们的方法与基准模型在AudioCaps数据集上的音频生成结果。在第一个例子中，图像中有一只狗和一只鹅，基准模型只生成了狗的叫声，而忽略了鹅的叫声，而他们的模型则捕捉到了两种声音。类似地，在第二和第三个例子中，基准模型只生成了部分声音事件，而他们的模型生成了完整的声景。在最后一个例子中，图像中有一个小型喷气式飞机在背景中和一群欢呼的人群，基于视觉的模型由于小飞机的小尺寸未能检测到它，只生成了人群和风的噪音，而基于文本的模型则难以组合多种声音。他们的方法成功捕捉到了所有相关声音，突显了它在生成与复杂视觉场景准确对齐的音频方面的能力。

研究团队还进行了多项消融研究，探究模型各个组件的重要性。结果表明，微调潜在扩散权重而不是冻结它们对于获得更连贯的音频至关重要。单头注意力机制比多头注意力更有效，可能是因为多头注意力虽然增强了文本输入和生成音频之间的对应关系，但当基于分割蒙版指定特定音频特征时，它减弱了可控性。此外，用加法注意力替换点积注意力会导致模型明显崩溃，这与理论分析一致，表明分割蒙版不适合替代加法注意力。

最后，研究团队在不同的数据集上评估了他们的模型，进一步证明了其泛化能力和有效性。

五、模型的应用场景：从电影配音到虚拟现实

这项研究的潜在应用范围非常广泛，从内容创作到辅助技术，再到虚拟现实体验。

在内容创作领域，这种技术可以彻底改变电影和视频制作的配音过程。传统上，配音艺术家和音效设计师需要手动创建和同步每个声音效果，这是一个耗时且技术要求高的过程。使用这种交互式物体感知音频生成模型，创作者只需点击视频帧中的特定物体，就能生成相应的声音。例如，在一个城市街景镜头中，导演可以选择突出汽车的引擎声、行人的脚步声或远处的警笛声，根据叙事需要调整声音焦点。

在游戏和虚拟现实领域，这种技术可以创造更加身临其境的音频体验。游戏开发者可以使用这种模型为游戏中的不同物体生成动态和上下文相关的声音，使虚拟世界感觉更加真实和生动。想象一个开放世界游戏，其中每个物体——从远处的瀑布到近处的篝火——都有与其视觉外观和环境一致的声音。

对于辅助技术，这种模型可以帮助视觉障碍人士更好地理解图像和视频。通过生成与图像中物体相对应的声音，这种技术可以提供一种新的方式来"听见"图像内容，补充现有的图像描述技术。

在教育领域，这种技术可以创建更加互动和吸引人的学习材料。例如，一本关于动物的电子书可以允许学生点击动物图像，听到它们的叫声，增强学习体验和记忆保留。

在社交媒体和内容分享平台上，用户可以利用这种技术为他们的照片和视频添加有趣和创意的音频效果，而无需专业的音频编辑技能。

此外，这种技术还可以应用于监控和安全系统，帮助识别和定位潜在的安全威胁。例如，一个配备了这种技术的监控系统可以不仅识别出图像中的可疑活动，还可以生成相应的声音线索，帮助安全人员更快地响应。

研究团队的实验也展示了一些有趣的应用场景。例如，他们演示了如何通过操纵视觉纹理来生成不同的声景。在一个例子中，他们通过改变场景的天气（晴天到雨天）或表面材质（水到草）来生成相应的声音。这表明模型能够捕捉视觉纹理的变化并生成上下文相关的声音。

此外，研究团队还发现模型能够捕捉多个物体之间的交互。例如，在展示棍子与水面接触的场景中，模型生成了水花声，而不仅仅是普通的水流声。这表明模型能够处理基本的多物体交互，这对于创建更复杂和真实的音频体验至关重要。

六、研究的局限性与未来发展方向

尽管这项研究取得了令人印象深刻的成果，但它也存在一些局限性。研究团队坦率地指出，他们的模型在处理静态图像时表现出色，但在处理与动态事件同步的非静止音频方面面临挑战。简单来说，就是模型难以为快速变化的场景生成精确同步的声音。

想象你正在观看一个乒乓球比赛的视频：球拍击球、球弹跳的瞬间都需要精确的声音同步。由于该模型是基于静态图像训练的，它难以捕捉这种精确的时间关系。这就像是你看到了一张乒乓球比赛的静止照片，虽然可以想象出大致的声音，但难以确定声音应该在什么确切时刻出现。

另一个局限性是模型可能缺乏对相似物体产生的声音类型的精确控制。例如，图像中的汽车可能产生引擎声或警笛声，这可能导致一定程度的歧义。这就像是你看到一张乐器的照片，知道它会发出声音，但不确定是演奏哪种类型的音乐。

最后，虽然这种技术对内容创作非常有用，但也存在被滥用生成误导性视频的潜在风险。例如，有人可能会为一个平静的场景添加警笛声或爆炸声，创造出一种紧急情况的假象。研究团队指出了这种伦理考虑，强调了负责任使用的重要性。

未来研究可能会朝着以下几个方向发展：

首先，改进模型处理动态场景的能力，可能通过整合时序信息或与视频模型的结合。这就像是教会模型不仅理解"这个物体发出什么声音"，还理解"这个物体在这个特定动作时发出什么声音"。

其次，增强模型对声音类型的控制精度，可能通过更详细的声音描述或用户反馈机制。这样用户就可以更精确地指定他们想要的声音类型，比如"汽车引擎启动声"而非仅仅是"汽车声"。

第三，探索多模态融合的新方法，结合视觉、文本和音频信息，创造更丰富、更连贯的多感官体验。这就像是让模型不仅能"看"和"听"，还能理解和生成与之相关的文本描述，创造一个全面的多感官体验。

最后，开发更强大的安全措施和伦理框架，确保这种技术被用于积极的目的，而不是创建误导性内容。这可能包括水印或其他形式的内容验证，帮助用户识别合成的音频。

七、总结：听见看不见的声音

在我们日常生活的世界中，声音和视觉是紧密相连的——当我们看到一辆汽车，我们自然期待听到引擎声；当我们看到一只狗，我们预期会听到狗叫声。这种音视觉对应关系对我们理解环境至关重要，但对计算机来说一直是一项挑战。

Tingle Li、Baihe Huang及其团队的研究代表了音频生成领域的一项重要突破。他们开发的交互式物体感知音频生成模型不仅能生成高质量的音频，还能让用户以前所未有的直观方式控制这个过程。通过简单地选择图像中的特定物体，用户可以生成与之相对应的声音，无需复杂的编辑或混音技术。

这项研究的意义远超技术创新。它为内容创作者提供了一个强大的新工具，可以轻松创建沉浸式和情境相关的音频体验。它为辅助技术开辟了新的可能性，帮助视觉障碍人士"听见"图像。它甚至可能改变我们与数字媒体互动的方式，使声音成为一个更加动态和响应式的元素。

当然，像任何新技术一样，它也带来了需要解决的挑战和问题。但总的来说，这项研究代表了向更自然、更直观的人机交互迈出的一步，其中计算机不仅能"看见"世界，还能以一种与人类感知相似的方式"听见"世界。

随着这项技术的进一步发展和完善，我们可以期待看到（和听到）它在各种应用中的潜力得到充分发挥，从而创造出更丰富、更身临其境的数字体验。从这个意义上说，"Sounding that Object"不仅仅是一个技术突破，它是我们通往多感官数字未来的一个重要步骤。