人工智能音轨分离实际上是如何工作的

几十年来，人声消除这意味着一件事： 相位反转在许多混音中，主唱通常会被放置在正中间：左右声道完全相同。翻转其中一个声道的极性，然后将两个声道叠加，所有两个声道中相同的部分都会相互抵消。这样，主唱的声音就会消失。

中心区域的其他所有乐器也是如此：底鼓、军鼓、贝斯。剩下的部分听起来空洞而失真，就像乐队在走廊尽头演奏一样。而且，这种效果只能单向应用：它只能（勉强） 删除 虽然它位于中心位置，但始终无法 隔离 单独处理人声效果不佳。此外，它在处理单声道录音、带有立体声混响的人声以及任何未精确居中混合的音频时，都完全失效。相位抵消只是一个花哨的技巧，而不是一个实用的工具。

第一批真正意义上的机器学习分类器（大约在2015年至2019年间）开始应用 声谱图：一张歌曲的频谱图，显示在每个时间点哪些频率的声音最响。我们训练了一个神经网络，让它观察这张频谱图，并根据它来生成一幅图像 蒙版 搞定！“这些像素属于人声，那些像素属于鼓声。”将混音与蒙版相乘，转换回音频，完成。

这是一个飞跃：突然之间，你可以分离人声，而不仅仅是消除它。但是掩蔽有一个内在的限制：当人声和吉他占据 相同 在……频率下 相同 在真实的音乐中，这种“瞬间”（而且这种情况会不断发生），某种“掩码”必须以某种方式分散这种能量，结果就是早期用户记忆中的那种水声般的、仿佛置身水下的颤音。频谱图也会丢弃 阶段 模型会根据这些信息，在将文本转换为音频的过程中进行相应的调整。

经典的四分法是将音轨分成四部分： 人声、鼓、贝斯、其他因为标准研究数据集（MUSDB18）的标注方式就是如此，模型只能学习其训练数据中包含的类别。像 StemGrab 使用的这种六声道模型会增加 吉他 和 钢琴从“其他”类别中单独划分出来。

更进一步的操作（例如，将主唱与伴唱分离，将吉他声部分离，将合成器声单独提取），通常并非建模问题，而是一种 数据 问题在于，目前还没有大型的公共音乐库，比如，其中没有标注好的铃鼓音轨。在拥有这样的数据之前，“所有其他内容”都将继续以混合形式存在 其他 曲目

这些简单的词干之所以容易，是因为它们各自占据着独特的领域：

• 人声 它拥有独一无二的声纹：音调、颤音、呼吸声、辅音。人类语音也是音频研究领域中研究得最深入的声音。
• 鼓。 它们是瞬态信号：短暂、宽频的冲击声，具有明显的起始和有规律的节奏。在混音中，没有任何其他声音能与鼓的敲击声相似。
• 贝斯 在 120 赫兹以下的低频区域，它几乎是独霸一方。

吉他和钢琴就像变色龙一样。 这两种乐器几乎覆盖了整个频率范围，都能演奏和弦和旋律，而且它们之间存在很大的重叠：彼此之间、与合成器音垫、与弦乐、与管风琴之间。如果一架干净的钢琴和一种温暖的音垫同时演奏相同的和弦，即使是人类的耳朵也很难分辨。如果给吉他添加失真效果，它就会变成宽频带的带音调噪声，很容易与合成器混淆。而且，用于训练这两种乐器类别的样本数据，只占现有声乐样本数据的一小部分。结果是：在一首旋律简单的歌曲中，吉他音轨可以呈现出非常好的效果；但在一首音响效果复杂的歌曲中，可能会出现混音和音染。

• 混响和回声效果仍然难以捉摸。 人声混响效果产生的尾音，可以理解为“带有色彩的房间声”，其中一部分会混入人声音轨，另一部分则会混入伴奏音轨。目前没有任何模型能够完美地解决这个问题。
• 混合物过于稠密会降低质量。 重金属、管弦乐流行乐和多层次的电子舞曲音乐会迫使模型每秒做出更多复杂的判断，因此由此产生的失真也会相应增加。
• 找到高质量的低保真音源并不容易。 磁带嘶嘶声、黑胶唱片噼啪声、单声道录音以及低比特率的音频文件，都会让模型可供处理的信息减少。一个 128 kbps 的 MP3 文件已经丢弃了许多细节，而这些细节本可以被分离器用来进行处理。
• 不同类别之间的声音会使其产生混淆。 经过大量人声效果处理（如使用人声编码器或自动调音）的音轨可能会被归类到“其他”类别；如果一个 808 音效既包含鼓点又包含低音线条，那么它会被分别归类到鼓点和低音类别。

这并不意味着这项技术很差：在现代音乐的混合中，人声、鼓和贝斯的表现比人们在2018年所认为的要好得多。这意味着它的真实效果是“非常好的近似”，而不是“魔法”。

最快调整期望值的方法是，选择一首你非常熟悉的歌曲进行试听。 将歌曲拖放到 StemGrab 中您可以在大约一分钟内获得人声、鼓、贝斯、吉他、钢琴、其他乐器以及纯乐器伴奏，而且是免费的，无需注册账户。然后戴上耳机，听听模型识别得如何，以及它在哪些地方出现了偏差。归根结底，任何音轨分离软件的核心都是一个模型，它会尽力猜测，然后您再用自己的耳朵来验证。

免费拆分音轨 →

更多 StemGrab 服务： 使用伴奏音轨练习任何乐器 · 您可以合法地对音频素材进行哪些操作