Stems van hoge kwaliteit. Geen account nodig, geen kosten per track.Dezelfde technologie en dezelfde 192 kbps (of lossless WAV) als de betaalde versie – tracks tot 15 minuten lang.
Een gemixte song is als een gebakken taart: de eieren en bloem zitten erin, maar je kunt ze niet meer terug halen. Dus hoe kan een neuraal netwerk je de geïsoleerde vocalen van een 40 jaar oude opname geven? Dit is het werkelijke verhaal, inclusief wat nog steeds niet werkt.
Al decennia lang betekende "vocal remover" maar één ding: faseverschuivingIn veel mixen staat de leadzang precies in het midden: identiek in zowel het linker- als rechterkanaal. Keer je de polariteit van één kanaal om en tel je beide kanalen bij elkaar op, dan valt alles wat in beide kanalen hetzelfde is weg. De zang verdwijnt.
En ook al het andere dat in het midden staat: de basdrum, de snare, de basgitaar. Wat overblijft klinkt hol en heeft een vreemd fase-effect, alsof de band aan het einde van een lange gang speelt. Bovendien werkte deze truc slechts één kant op: het kon (soort van) verwijderen wat in het midden stond, maar het kon nooit isoleren alleen de zang. Het werkte ook helemaal niet bij mono-opnames, bij zang met stereoreverb en bij alles wat niet precies in het midden was gemixt. Faseverschuiving was een leuke truc, geen echt hulpmiddel.
De eerste echte machine learning-separatoren (rond 2015–2019) werkten met spectrogrammeneen afbeelding van het nummer waarin te zien is welke frequenties op elk moment luid zijn. Een neuraal netwerk werd getraind om naar die afbeelding te kijken en er een masker overheen te schilderen: "deze pixels horen bij de zang, die pixels horen bij de drums." Vermenigvuldig de mix met het masker, zet terug om in audio, klaar.
Dit was een grote stap voorwaarts: plotseling kon je een zangpartij isoleren, en niet alleen maar weghalen. Maar maskering heeft een ingebouwde beperking: wanneer een zangpartij en een gitaar dezelfde hetzelfde frequentie op dat moment (wat constant gebeurt in echte muziek), moet een masker die energie op de een of andere manier opsplitsen, en het resultaat is het waterige, onderwaterachtige geluid waar elke vroege gebruiker zich nog wel iets van herinnert. Spectrogrammen verwijderen ook fase informatie, die het model vervolgens moet nabootsen op de terugweg naar audio Vandaag: hybride transformatormodellen
Moderne separators (waaronder de engine achter StemGrab) pakken het probleem vanuit twee richtingen tegelijk aan (vandaar "hybride")
Hoe weet het eigenlijk wat een "stem" is? Training. Het model leerde van duizenden nummers waarbij de daadwerkelijke losse tracks beschikbaar waren, en combineerde deze vervolgens, waarbij het zichzelf beoordeelde op hoe goed het elk onderdeel kon reconstrueren. Na voldoende oefening heeft het intern geleerd hoe stemmen, drums en baslijnen klinken, zodat het ze ook kan herkennen in nummers die het nog nooit eerder heeft gehoord.
Belangrijk inzicht: scheiding is niet hetzelfde als "het ongedaan maken van een mix". De originele multitracks zijn wiskundig verdwenen. Het model reconstrueert wat elk losse track waarschijnlijk was: een zeer weloverwogen gok die toevallig verrassend goed is.
De klassieke splitsing bestaat uit vier losse tracks: vocalen, drums, bas, overig, omdat dat is hoe de standaard onderzoeksdataset (MUSDB18) gelabeld is, en modellen kunnen alleen leren van categorieën die in hun trainingsdata worden genoemd. Modellen met zes losse tracks, zoals het model dat StemGrab gebruikt, voegen toe gitaar en piano, afgescheiden van de rest.
Het verder uitdiepen (het scheiden van de leadzang van de achtergrondvocalen, het splitsen van de gitaren, het isoleren van de synthesizer) is meestal geen probleem dat met modellering kan worden opgelost, maar een data- probleem. Er bestaat geen grote openbare bibliotheek met liedjes waarin bijvoorbeeld een gelabelde tamboerijn als losse track beschikbaar is. Zolang die gegevens niet bestaan, blijft "alles anders" samengevoegd in de andere track.
De makkelijk te isoleren tracks zijn dat omdat ze elk een unieke plek innemen:
Gitaar en piano zijn veelzijdig. Beide beslaan vrijwel het volledige frequentiebereik, beide spelen akkoorden en melodieën, en ze overlappen elkaar in grote mate: met elkaar, met synth-pads, met strijkers, met orgel. Een heldere piano en een warme pad die hetzelfde akkoord spelen, zijn zelfs voor menselijke oren moeilijk van elkaar te onderscheiden. Voeg vervorming toe aan een gitaar en het wordt breedbandruis met toonhoogte, waardoor het gemakkelijk verward kan worden met synthesizers. Bovendien is de trainingsdata voor deze twee categorieën slechts een fractie van wat er beschikbaar is voor vocalen. Het resultaat: in een eenvoudige singer-songwriter track kan de gitaartrack prachtig uitpakken; in een complexe mix met veel geluid, moet je rekening houden met overspraak en vervaging.
Dit betekent niet dat de technologie slecht is: vocalen, drums en bas in een moderne mix klinken schoner dan iemand in 2018 voor mogelijk had gehouden. Het betekent wel dat de eerlijke conclusie is: "een opmerkelijk goede schatting", en niet "magie".
De snelste manier om je verwachtingen te kalibreren, is door een nummer af te spelen dat je van binnen en van buiten kent. Upload een nummer naar StemGrabBinnen een minuut krijg je de vocalen, drums, bas, gitaar, piano en andere instrumenten, plus een schone instrumentale versie – helemaal gratis en zonder dat je een account hoeft aan te maken. Doe vervolgens een koptelefoon op en luister naar wat het programma goed heeft gedaan en waar het fout zat.
Meer van StemGrab: Oefen elk instrument met losse tracks · Wat mag je wel doen met losse tracks, volgens de wet