Jak oddzielenie ścieżek AI właściwie działa

Ostatnia aktualizacja: wrzesień 2026

Jak więc sieć neuronowa wydobywa dla ciebie wyizolowany wokal ze sprzed 40 lat? Oto, co się za tym naprawdę kryje, łącznie z tym, co wciąż nie działa.

Powiązane: Bezpłatna alternatywa dla Moises.

Co nasz własny model robi w praktyce

Zanim przejdziemy do lekcji historii, oto liczby z uruchamiania tego modelu przez nas samych: we wszystkich narzędziach na stronie wykonaliśmy 2,264 separacje w ciągu 40 dni pomiarów, odrzucając 1,336 przesłanych plików, zanim w ogóle dotarły do modelu, zły format, brak rozszerzenia pliku albo utwór przekraczający limit długości, a nie awaria samej separacji. Spośród plików, które przechodzą dalej, większość kończy się szybko: backend odnotował typowe czasy 2.6 i 2.5 sekundy dla swoich szybszych zadań (odpowiednio 15 i 12 razy w tym okresie), ale długi lub gęsty plik może to znacznie wydłużyć, najwolniejsze odnotowane przebiegi trwają ponad dwie minuty, co i tak stanowi ułamek kosztu tej samej separacji na wynajętym GPU w chmurze. Żadna z tych liczb nie mówi ci jak jak to działa ani dlaczego niektóre stemy wychodzą czyściej niż inne, a to już właściwy mechanizm, łącznie ze sztuczkami fazowymi.

Przed erą sztucznej inteligencji: trik z kompensacją fazową

Przez dziesięciolecia „usuwacz wokalu„oznaczało jedno: odwrócenie fazyW wielu miksach główny wokal jest umieszczony dokładnie na środku: identycznie w lewym i prawym kanale. Odwróć polaryzację jednego z kanałów i zsumuj oba, a wszystko, co jest identyczne w obu kanałach, zostanie wyeliminowane. Wokal zniknie.

Tak samo jest z pozostałymi elementami brzmienia: bębnem basowym, werblem, linią basu. To, co zostaje, brzmi pusto i nienaturalnie, jakby zespół grał na końcu długiego korytarza. Co więcej, ten trik działa tylko w jedną stronę: można go (mniej więcej) zastosować. usuń w centrum, ale nigdy nie udało się tego osiągnąć wyodrębnić sam wokal. Dodatkowo, narzędzie to kompletnie zawodziło w przypadku nagrań mono, wokali z efektem pogłosu stereo oraz wszelkich materiałów, w których dźwięk nie był idealnie wycentrowany. Eliminacja faz nie była użytecznym narzędziem, a jedynie ciekawostką.

Era spektrogramów: maskowanie

Pierwsze prawdziwe separatory oparte na uczeniu maszynowym (mniej więcej w latach 2015-2019) działały na spektrogramyobraz utworu, pokazujący, które częstotliwości są głośne w danym momencie. Sieć neuronowa została wytrenowana, aby analizować ten obraz i generować maska po prostu: „te piksele odpowiadają ścieżce wokalnej, a te perkusji”. Mnożymy miks przez maskę, konwertujemy z powrotem do formatu audio i gotowe.

To był przełom: nagle można było wyodrębnić wokal, a nie tylko go wyciszyć. Jednak technika maskowania ma swoje ograniczenia: gdy wokal i gitara znajdują się w tym samym paśmie częstotliwości taki sam częstotliwość w punkcie taki sam danym momencie (co w prawdziwej muzyce zdarza się bez przerwy), maska musi jakoś podzielić tę energię, a efektem jest ten wodnisty, jakby zza wody pogłos, który pamiętają pierwsi użytkownicy. Spektrogramy odrzucają też faza informacje, które model musi następnie „podrobić”, aby przekształcić je w dźwięk.

Dzisiaj: hybrydowe modele sztucznej inteligencji

Współczesne separatory (w tym silnik za StemGrab) atakuj problem jednocześnie z dwóch stron (stąd nazwa „hybrydowy”). Niezależnie od tego, czy nazwiesz to AI do separacji ścieżek, separatorem ścieżek, czy rozdzielaczem ścieżek, to właśnie to dwukierunkowe podejście wykonuje całą pracę:

• A gałąź przebiegu Narzędzie to działa bezpośrednio na surowych próbkach dźwiękowych, dzięki czemu nic nie ginie podczas konwersji do widma, w tym faza. To właśnie dzięki temu nowoczesne oddzielne ścieżki basu i perkusji brzmią mocno i wyraźnie, a nie rozmycie.
• A gałąź spektralna nadal doskonale sprawdza się w analizie widma częstotliwości, gdzie najłatwiej dostrzec harmoniczne wzorce (np. spektrum harmonicznych głosu lub akord fortepianowy).
• Centralny rdzeń AI (należący do tej samej rodziny co nowoczesne modele językowe) analizuje jednocześnie całe fragmenty utworu, uwzględniając kontekst. To ważne: jeśli model usłyszy wyraźny wokal w intro, wykorzysta tę informację, aby wyodrębnić ten sam głos z gęstego, końcowego refrenu.

Skąd wie, czym właściwie jest „wokal”? Szkolenie. Model uczył się na tysiącach utworów, w których dostępne były prawdziwe, odizolowane ścieżki, miksując je ze sobą i oceniając własne postępy w odzyskiwaniu każdej z części. Po wystarczającej liczbie powtórzeń zinternalizował to, jak brzmią wokale, stopy, werble i linie basu, na tyle dobrze, by potrafić je oszacować w miksach, których nigdy wcześniej nie słyszał. To nie jest ogólny samouczek dotyczący używania narzędzi AI do innych zadań: to konkretna informacja o tym, jak ten jeden model nauczył się rekonstruować głos, bęben basowy i linię basu z jednego zmiksowanego pliku. To szkolenie stanowi różnicę między separatorem stemów AI a powyższym trikiem z fazą: model nauczył się, jak brzmi głos, zamiast zakładać, że głos znajduje się w centrum.

Dlaczego sześć ścieżek to obecny limit

Klasyczny podział zakłada 4 oddzielne ścieżki: wokal, perkusja, bas, inne, ponieważ w standardowym zbiorze danych wykorzystywanym do badań (MUSDB18) ścieżki są tak oznaczane, a modele mogą uczyć się tylko kategorii, które znajdują się w nazwach danych treningowych. Modele przetwarzające 6 oddzielnych ścieżek, takie jak ten, który wykorzystuje StemGrab, dodają gitara oraz pianino, wydzielone z kategorii „inne”.

Pójście dalej (oddzielenie wokalu prowadzącego od chórków w tle, rozdzielenie gitar, wyizolowanie syntezatora) w większości nie jest problemem modelowania, tylko dane problem. Nie istnieje duża, publiczna baza danych utworów, w której można by znaleźć, na przykład, oddzielną ścieżkę dźwiękową dla tamburynu. Dopóki takie dane nie będą dostępne, „wszystko inne” pozostanie połączone w całość inne ścieżka.

Dlaczego gitara i fortepian pozostają w tyle za wokalem, perkusją i basem

Proste ścieżki są łatwe, ponieważ każda z nich zajmuje określoną, odrębną pozycję:

• Wokal posiada unikalny odcisk palca, który odróżnia go od innych: formant, wibrato, oddech, spółgłoski. Mowa ludzka jest również najdokładniej badanym dźwiękiem w całej dziedzinie badań nad dźwiękiem.
• Bębny są to dźwięki przejściowe: krótkie, szerokopasmowe uderzenia o wyraźnym początku, rytmicznie przewidywalne. Żaden inny dźwięk w miksie nie brzmi jak uderzenie w werbel.
• Bass dominuje w najniższych rejestrach, niemal samodzielnie, poniżej ~120 Hz.

Gitara i pianino to instrumenty, które potrafią się dostosować. Obydwa instrumenty obejmują niemal całe spektrum częstotliwości, oba grają akordy i melodie, a ich brzmienia się mocno przenikają: zarówno między sobą, jak i z syntezatorami, smyczkami czy organami. Czysty dźwięk fortepianu i ciepły podkład grające ten sam akord są naprawdę trudne do odróżnienia nawet dla ludzkiego ucha. Dodajmy do tego przester do gitary, a otrzymamy szerokopasmowy szum z nutą, który łatwo pomylić z syntezatorami. Co więcej, ilość danych treningowych dla tych dwóch kategorii stanowi jedynie ułamek tego, co jest dostępne dla wokali. W rezultacie: w rzadkiej, minimalistycznej piosence, ścieżka gitarowa może brzmieć znakomicie; natomiast w gęstym, bogatym miksie należy spodziewać się zakłóceń i rozmycia dźwięku.

Co wciąż idzie nie tak

• Reverb i echo pozostają niejednoznaczne. Pogłos wokalu tworzy charakterystyczne „dźwiękowe tło”, które częściowo znajduje się w ścieżce wokalnej, a częściowo w ścieżce instrumentalnej. Żaden z obecnie dostępnych modeli nie rozwiązuje tego problemu w sposób zadowalający.
• Gęste mieszanki obniżają jakość. Muzyka metalowa, orkiestrowy pop i bogato warstwowy EDM zmuszają model do podejmowania większej liczby decyzji na sekundę, co prowadzi do proporcjonalnego wzrostu liczby artefaktów.
• Znalezienie materiałów o niskiej jakości dźwięku może być trudne. Szumy taśm, trzaski płyt winylowych, nagrania mono i pliki o niskiej przepływności danych ograniczają możliwości działania algorytmu. Plik MP3 o przepływności 128 kbps już pozbawił nagranie wielu szczegółów, które algorytm z przyjemnością wykorzystałby do separacji dźwięków.
• Dźwięki należące do różnych kategorii wprowadzają go w błąd. Wysoce przetworzone wokale lub wokale poddane autotuningu mogą być częściowo klasyfikowane jako „inne”; dźwięk 808, który pełni jednocześnie funkcję perkusji i linii basowej, będzie rozdzielany między sekcje perkusji i basu.

To nie oznacza, że technologia jest słaba: wokale, perkusja i bas w nowoczesnym miksie brzmią czyściej, niż ktokolwiek przypuszczał w 2018 roku. Oznacza to, że uczciwe określenie to „nadzwyczaj dobra estymacja”, a nie „magia”.

Posłuchaj, jak brzmi na Twojej muzyce

Najszybszym sposobem na sprawdzenie, czy Twoje oczekiwania są realistyczne, jest przetestowanie narzędzia na dobrze znanym Ci fragmencie utworu. Prześlij utwór do StemGrab: otrzymasz wokal, perkusję, bas, gitarę, pianino, resztę oraz czysty podkład instrumentalny w około minutę, za darmo, bez konta. Potem załóż słuchawki i posłuchaj, co model trafił, a gdzie zgadywał. Tak naprawdę na tym sprowadza się każde oprogramowanie do separacji stemów, najlepsze przypuszczenie modelu, zweryfikowane twoimi własnymi uszami.

Podziel utwór za darmo →

Więcej od StemGrab: ćwicz na dowolnym instrumencie, korzystając z oddzielnych ścieżek · co możesz robić z oddzielnymi ścieżkami, zgodnie z prawem