AIによるステム分離とは？ 実際には、 どのように

では、ニューラルネットワークがどのようにして40年前の音源からボーカル部分だけを分離して取り出すことができるのでしょうか？ その仕組みと、まだうまく機能しない点について詳しく解説します。

自社モデルの実際の性能（測定値）

歴史の説明の前に、このモデルを自分たちで実行した際のデータをご紹介します：サイト全体のツールについて、測定を開始してから40日間に2,264件の分離を実行してきました。1,336件のアップロードはそもそもモデルに到達する前に拒否しました、フォーマット不正、ファイル拡張子なし、またはトラック長超過が原因で、分離自体の失敗ではありません。モデルに到達したアップロードの大多数は高速に完了します：バックエンドはより高速なジョブで2.6秒と2.5秒の実行時間をログしており（そのウィンドウ内でそれぞれ15回と12回）、しかし長くて複雑なアップロードはそれを大きく超えることがあります、ログした最遅の実行は2分以上かかりますが、これはレンタルクラウドGPU時間で同じ分離にかかるコストのほんの一部です。ですがこれらのどれもあなたに 使い方 実際にどのように機能するのか、また、なぜ一部のステムが他のものよりもきれいに仕上がるのか、その仕組みと、位相のトリックを含む実際のメカニズムを以下に説明します。

AI以前：位相キャンセルというテクニック

何十年もの間、「ボーカルリムーバー「1つのことを意味しました: 相反転多くのミックスでは、リードボーカルは完全に中央にパンされています：左右チャンネルで同一です。一方のチャンネルの極性を反転させ、両方を足し合わせると、両チャンネルで同一のものは打ち消し合います。ボーカルが消えます。

センターにある他のすべての楽器も同様です。キックドラム、スネアドラム、ベースなど。残りの音は、廊下の奥で演奏しているバンドの音のように、空虚で位相がずれたように聞こえます。そして、このテクニックは一方通行にしか機能しません。つまり、（ある程度） 削除 中心部ですが、それは決して 分離 ボーカル部分だけを抽出する機能です。また、モノラル録音、ステレオリバーブがかけられたボーカル、またはセンターに正確にミックスされていない音源に対しては、全く効果がありませんでした。位相キャンセルは、実用的なツールというよりは、ただの面白機能に過ぎませんでした。

スペクトログラムの時代：マスキング

最初の本格的な機械学習セパレーター（2015〜2019年頃）は、 スペクトログラム：曲の各瞬間でどの周波数が大きいかを示す画像です。ニューラルネットワークはその画像を見て、次を描くように訓練されました： マスク その上：「これらのピクセルは声に属し、あれらはドラムに属する」。マスクでミックスを掛け、オーディオに戻し、完了。

これはleapでした。突然、それをキャンセルするだけでなく、ボーカルを隔離することができます。 しかし、マスキングは作り付けの天井を持っています:ボーカルとギターが占有するとき 同じ 周波数 同じ 実際の音楽では常に起こる瞬間に、マスクはそのエネルギーを何らかの方法で分離する必要があり、その結果、初期ユーザーが覚えている水っぽい水中のようなうねる音が生じます。スペクトログラムもまた、 フェーズ モデルがオーディオに戻る途中で偽造しなければならない情報。

現在：ハイブリッドAIモデル

最新の分離ツール(次を支えるエンジンも含む StemGrab) 問題に対して、同時に2つの方向からアプローチします（これが「ハイブリッド」と呼ばれる理由です）。これを「ステムAI」、「ステムセパレーター」、または「ステムスプリッター」と呼ぶかは関係ありません。この2つのアプローチを組み合わせることで、目的を達成できます。

• ツイート 波形ブランチ このツールは、生のオーディオサンプルを直接処理するため、スペクトログラムへの変換による情報損失（位相を含む）が一切ありません。これにより、最新のベースやドラムの分離音源が、ぼやけることなく、より力強く響くのです。
• ツイート スペクトルブランチ このツールは、周波数スペクトルの表示において、特に調和的なパターン（声の倍音構造やピアノの和音など）を見つけやすくする機能も備えています。
• 中央の AIコア （最新の言語モデルと同じ系統に属する）このツールは、楽曲全体を横断的に分析し、長い部分をまとめて処理します。その文脈が重要です。例えば、イントロでボーカルが際立って聞こえる場合、その情報を活用して、終盤の盛り上がったコーラス部分から同じボーカルを分離し、抽出することができます。

そもそも、このツールは「ボーカル」とは何かをどのように認識しているのでしょうか？ トレーニング このモデルは、実際に分離された音源が利用可能な数千曲の楽曲を学習し、それらを組み合わせて、各パートをどの程度うまく再現できたかを自己評価しました。これを繰り返すことで、モデルは、ボーカル、キックドラム、スネアドラム、ベースラインといった各音源がどのような音であるかを理解し、聞いたことのない楽曲のミックスからでも、それらを推定できるようになりました。これは、AIツールを他のタスクに活用する方法に関する一般的なチュートリアルではなく、この特定のモデルが、単一のミックスファイルからボーカル、キックドラム、ベースラインをどのように再構築するように学習したのかを説明するものです。

6ステムが現在の限界である理由

古典的な分割は4つのステムです： ボーカル、ドラム、ベース、その他というのも、標準的な研究用データセット（MUSDB18）がそのようにラベル付けされているからです。モデルは、学習データに名前が付けられているカテゴリーしか学習できません。StemGrabが使用するような6つの音源に分離するモデルは、 ギター と ピアノ「その他」から切り出して作成。

さらに高度な処理（メインボーカルとバックコーラスを分離したり、ギターやシンセサイザーの音を個別に抽出したりする）は、主にモデリングの問題ではなく、 データ 問題。 著名なタムブリン・ステムは、曲の大規模なパブリック・ライブラリーはありません。 そのデータが存在するまで、“他を重ねる”が一緒に接着される その他 トラック。

なぜギターとピアノはボーカル、ドラム、ベースより遅れるのか

簡単なステムが簡単な理由は、それぞれが独特のニッチを占めているからです：

• ボーカル 他の音とは一線を画す、独自の音のパターン（フォルマント、ビブラート、息、子音など）を持つ：それが人間の声です。また、人間の声は、音声研究において最も詳細に研究されている音でもあります。
• ドラム トランジェントとは、短い時間で広範囲の周波数を持つ、立ち上がりが鋭く、リズム的に予測可能な音のことです。他の音と比べて、スネアドラムの音は際立っています。
• ベース 120Hz以下の低い音域をほぼ独占している。

ギターとピアノはカメレオンです。 どちらもほぼ全周波数帯域をカバーし、コードやメロディーを演奏でき、互いに、シンセパッド、ストリングス、オルガンなど、多くの音域で重なり合います。同じコードを演奏するクリアなピアノと温かいパッドの音は、人間の耳にも区別がつきにくいほどです。ギターにディストーションを加えると、広帯域のノイズに変化し、シンセの音と混同されやすくなります。さらに、これらの2つのカテゴリーの学習データは、ボーカルのデータに比べてごくわずかです。その結果、シンプルなシンガーソングライターの楽曲では、ギターの音を美しく分離できますが、音の密度が高い楽曲では、音の混ざりやぼやけが発生する可能性があります。

依然として問題が残る点

• Reverbとechoはあいまいです。 ボーカルの残響は「ボーカルの音色に染まった空間の響き」であり、その一部はボーカルのトラックに、残りはインストゥルメンタルのトラックに混ざり込んでしまいます。現在のどのモデルも、これをきれいに分離することはできません。
• 密度の高いミックスでは品質が下がります。 メタル、オーケストラ・ポップ、そして複雑に重ねられたEDMといったジャンルは、このモデルにより1秒あたりに多くの判断を迫らせるため、それに伴いノイズが増加します。
• Lo-fi ソースはハードです。 テープのノイズ、レコードのひび音、モノラル録音、低ビットレートの音源は、分離モデルが処理できる情報を減らします。128kbpsのMP3は、分離ツールが活用したかった詳細な情報をすでに失っています。
• 異なるカテゴリーの音が混ざると、うまく機能しません。 過度にボコーダーやオートチューンをかけたボーカルは、一部「その他」に分類されることがあります。また、キックとベースラインの両方の役割を果たす808サウンドは、ドラムとベースの両方に分散して分類されます。

これは、この技術が劣っているという意味ではありません。現代のミキシングでは、ボーカル、ドラム、ベースが、2018年には考えられなかったほどクリアに聞こえるようになります。つまり、この技術の真価は「魔法」ではなく、「非常に優れた推定」にあるということです。

実際に自分の音楽で試してみましょう。

期待値を調整する最速の方法は、よく知っているトラックを試すことです。 StemGrabに曲をドロップするボーカル、ドラム、ベース、ギター、ピアノ、その他のパート、そして分離されたインストゥルメンタル音源を、約1分で、無料で、アカウントなしで入手できます。ヘッドホンを装着して、モデルがどの部分をうまく分離できたか、そしてどの部分で誤ったかを聴いてみてください。結局のところ、あらゆるステム分離ソフトウェアは、モデルが推測した結果を、あなたの耳で確認するものです。

トラックを無料で分割 →

StemGrabの他のツール: ステムを使ってどんな楽器でも練習できます · 著作権を侵害せずに、楽曲の分離されたトラック（ステム）をどのように利用できるか