Door Sam Ridder Ik bouw en gebruik StemGrab op mijn eigen hardware, op mijn eigen. Wie ik ben.
Een afgemixte song is net een gebakken taart: de ingrediënten zitten erin, maar je kunt ze er niet meer uithalen.
Hoe kan een neuraal netwerk de afzonderlijke vocalen van een 40 jaar oude opname isoleren? Dit is het volledige verhaal, inclusief wat nog niet werkt.
Stems van hoge kwaliteit. Geen account nodig, geen kosten per track. Zelfde model en dezelfde 192 kbps (of verliesloze WAV) als de betaalde tier, sporen tot 15 minuten.
Voordat we ingaan op de achtergrond, hier de resultaten van onze eigen tests: in de 40 dagen dat we de tool hebben gebruikt, hebben we 2.264 analyses uitgevoerd. We hebben 1.336 bestanden afgewezen voordat ze überhaupt bij de tool terechtkwamen, vanwege een verkeerd formaat, ontbrekende bestandsextensie of omdat de audiofragmenten te lang waren. Het probleem lag dus niet bij de analyse zelf. Van de bestanden die wel werden geaccepteerd, verliepen de meeste analyses snel: de server registreerde gemiddeld 2,6 en 2,5 seconden voor de snellere analyses (respectievelijk 15 en 12 keer in die periode). Echter, langere of complexere bestanden kunnen de analyse aanzienlijk vertragen; de langzaamste analyses duurden meer dan twee minuten, wat nog steeds veel sneller is dan wanneer je dezelfde analyse zou uitvoeren met behulp van gehuurde cloud-GPU-capaciteit. Dit alles laat zien dat hoe het werkt inderdaad, of waarom bepaalde stems schoner zijn, daarvoor volgt hier het werkelijke mechanisme, fasetrucs inclusief.
Al decennia lang is "zangverwijderaar“betekende één ding: fase-omkeringIn veel mixen staat de leadvocal precies in het midden: identiek in zowel het linker- als het rechterkanaal. Keer de polariteit van één kanaal om en tel de twee kanalen bij elkaar op, en alles wat in beide kanalen identiek is, wordt opgeheven. De vocalen verdwijnen.
Hetzelfde geldt voor alle andere instrumenten in het midden: de basdrum, de snare, de bas. Wat overblijft, klinkt hol en dof, alsof de band aan het einde van een lange gang speelt. En het effect werkte maar in één richting: het kon (enigszins) verwijderen het middelpunt, maar het zou nooit isoleren alleen de vocalen. Bovendien werkte het helemaal niet goed bij mono-opnames, bij vocalen met stereoreverb en bij alles wat niet precies in het midden was gemixt. Het onderdrukken van faseverschillen was meer een trucje dan een nuttig hulpmiddel.
De eerste echte machine-learning-scheiders (rond 2015-2019) werkten op spectrogrammen: een afbeelding van het nummer, waarop te zien is welke frequenties op elk moment het sterkst zijn. Een neuraal netwerk is getraind om naar die afbeelding te kijken en vervolgens een masker klaar ermee: “deze pixels horen bij de zang, die pixels bij de drums.” Vermenigvuldig de mix met het masker, zet om naar audio, en klaar is het.
Dit was een grote stap voorwaarts: plotseling kon je een stem isoleren, en niet alleen onderdrukken. Maar de methode van maskerering heeft een ingebouwde beperking: wanneer een stem en een gitaar dezelfde frequenties innemen, hetzelfde frequentie op de hetzelfde omdat in echte muziek de klank voortdurend verandert, moet een masker deze energie op de een of andere manier verdelen, wat resulteert in het waterige, onderwaterachtige geluid dat de eerste gebruikers zich herinneren. Spectrogrammen verwijderen bovendien fase informatie, die het model vervolgens moet simuleren bij de terugkeer naar audio.
Moderne scheiders (inclusief de engine achter StemGrab) pak het probleem vanuit twee richtingen tegelijk aan (vandaar "hybride"). Of je het nu een stem-AI, een stem-scheider of een stem-splitter noemt, deze tweeledige aanpak is wat het werk doet:
Hoe weet het eigenlijk wat een “vocaal” is? Training. Het model heeft geleerd van duizenden nummers waarbij de afzonderlijke losse tracks beschikbaar waren. Het heeft deze tracks gemixt en zichzelf beoordeeld op hoe goed het elk onderdeel kon reconstrueren. Na voldoende oefening heeft het een goed beeld gekregen van hoe zang, drumstel, snare en baslijnen klinken, zodat het deze ook kan reconstrueren uit mixen die het nog nooit heeft gehoord. Dit is geen algemene uitleg over het gebruik van AI-tools voor andere taken, maar specifiek een beschrijving van hoe dit model heeft geleerd om een zangpartij, een drumstel en een baslijn te reconstrueren uit één enkel gemixt bestand.
Belangrijk inzicht: scheiding is geen "ontmengen". De originele multitracks zijn wiskundig verdwenen. Het model reconstrueert wat elk losse track waarschijnlijk was: een weloverwogen gok die toevallig verrassend accuraat blijkt te zijn.
De meest gebruikelijke indeling is in vier losse tracks: vocalen, drums, bas, overig, omdat de standaard onderzoeksdataset (MUSDB18) op die manier is gelabeld, en modellen kunnen alleen categorieën leren als hun trainingsdata deze benoemen. Modellen met zes losse tracks, zoals het model dat StemGrab gebruikt, voegen gitaar en piano, afgesplitst van de categorie “overige”.
Het verder uitdiepen van de audio (het scheiden van de leadzang van de achtergrondharmonieën, het isoleren van de gitaren, het apart zetten van de synthesizer) is meestal geen kwestie van modellering, maar eerder een gegevens probleem. Er bestaat geen grote, openbare bibliotheek met liedjes, bijvoorbeeld met een apart opgeslagen track van een tamboerijn. Zolang die gegevens niet beschikbaar zijn, blijven “alle andere” elementen aan elkaar gekoppeld in de overig nummer.
De makkelijk te isoleren tracks zijn dat omdat ze elk een unieke plek innemen:
Gitaar en piano zijn kameleons. Beide beslaan vrijwel het volledige frequentiebereik, beide spelen akkoorden en melodieën, en ze overlappen elkaar in grote mate: met elkaar, met synth-pads, met strijkers, met orgel. Een heldere piano en een warme pad die hetzelfde akkoord spelen, zijn zelfs voor het menselijk oor moeilijk van elkaar te onderscheiden. Voeg vervorming toe aan een gitaar en het wordt breedbandruis met een toonhoogte, die gemakkelijk kan worden verward met synthesizers. En de trainingsgegevens voor deze twee categorieën zijn slechts een fractie van wat er beschikbaar is voor vocalen. Het resultaat: in een eenvoudige singer-songwriter-track kan de gitaartrack prachtig klinken; in een complexe, volle mix kunt u echter ruis en vervaging verwachten.
Dit betekent niet dat de technologie slecht is: vocalen, drums en bas in een moderne mix klinken schoner dan iemand in 2018 voor mogelijk had gehouden. Het betekent wel dat de eerlijke conclusie is: "een opmerkelijk goede schatting", en niet "magie".
De snelste manier om je verwachtingen bij te stellen, is door een nummer af te spelen dat je inmiddels uit je hoofd kent. Upload een nummer naar StemGrabJe ontvangt binnen ongeveer een minuut gratis de vocalen, drums, bas, gitaar, piano, andere instrumenten en een instrumentale versie zonder vocalen. Je hoeft je niet aan te melden. Doe vervolgens een koptelefoon op en luister naar wat het model goed heeft gedaan en waar het fout zat. Uiteindelijk komt elke software voor het scheiden van losse tracks hierop neer: een zo goed mogelijke schatting van het model, die je zelf kunt beoordelen.
Nog meer van StemGrab: oefen op elk instrument met losse tracks · wat je met losse tracks mag doen, binnen de wettelijke grenzen
Door Sam Ridder Ik bouw en gebruik StemGrab op mijn eigen hardware, op mijn eigen. Wie ik ben.
ShinobiTools · KvK 42147182 · info@shinobitools.com