Hochwertige einzelne Spuren. Keine Registrierung, keine Gebühren pro Titel.Das gleiche Modell und dieselbe 192 kbps-Qualität (oder verlustfreie WAV-Datei) wie in der kostenpflichtigen Version – für Titel mit einer Länge von bis zu 15 Minuten.
Ein gemischter Song ist wie ein gebackener Kuchen: Die Eier und das Mehl sind zwar drin, aber man kann sie nicht mehr herausnehmen. Wie also kann ein neuronales Netzwerk Ihnen den isolierten Gesang von einer 40 Jahre alten Aufnahme liefern? Hier ist die wahre Geschichte, einschließlich dessen, was immer noch nicht funktioniert.
Seit Jahrzehnten bedeutete „Stimmentferner“ nur eines: PhasenverschiebungIn vielen Mischungen ist der Leadgesang exakt in der Mitte platziert: identisch im linken und rechten Kanal. Kehrt man die Polarität eines Kanals um und summiert beide, so löschen sich alle Elemente, die in beiden Kanälen identisch sind, gegenseitig aus. Der Gesang verschwindet.
Ebenso verschwinden alle anderen Elemente in der Mitte: die Bassdrum, die Snare, der Bass. Was übrig bleibt, klingt hohl und phasenverschoben, als ob die Band am Ende eines langen Flurs spielt. Und dieser Trick funktionierte nur in eine Richtung: er konnte (mehr oder weniger) das Zentrum entfernen, aber niemals den Gesang isolieren. Er versagte auch vollständig bei Monoaufnahmen, bei Gesängen mit Stereo-Hall und bei allem, was nicht exakt mittig gemischt wurde. Die Phasenverschiebung war ein Partytrick, kein Werkzeug Das Zeitalter der Spektrogramme: Maskierung Die ersten echten Machine-Learning-Separatoren (um 2015–2019) arbeiteten mit
Maske darüber zu legen: „Diese Pixel gehören zum Gesang, diese zu den Drums.“ Multipliziert man die Mischung mit der Maske und wandelt sie wieder in Audio um, ist es erledigt Das war ein großer Fortschritt: plötzlich konnte man einen Gesang isolieren, anstatt ihn nur auszublenden. Aber die Maskierung hat eine inhärente Grenze: wenn ein Gesang und eine Gitarre denselben: an image of the song showing which frequencies are loud at each moment. A neural network was trained to look at that image and paint a mask over it: "these pixels belong to the voice, those belong to the drums." Multiply the mix by the mask, convert back to audio, done.
This was a leap: suddenly you could isolate a vocal, not just cancel it. But masking has a built-in ceiling: when a vocal and a guitar occupy the gleich Frequenz bei der gleichen Zeit (was in echter Musik ständig vorkommt), muss eine Maske diese Energie irgendwie aufteilen, und das Ergebnis ist das wässrige, unterwasserartige Rauschen, an das sich jeder frühe Nutzer erinnert. Spektrogramme verwerfen auch Phasen- Informationen, die das Modell dann auf dem Rückweg zum Audio simulieren muss.
Moderne Separatoren (einschließlich der Engine hinter StemGrab) gehen das Problem gleichzeitig aus zwei Richtungen an (daher „hybrid“):
Wie weiß es überhaupt, was eine „Stimme“ ist? Training. Das Modell lernte anhand von Tausenden von Songs, bei denen die tatsächlichen isolierten einzelnen Spuren verfügbar waren, indem es diese mischte und sich selbst bewertete, wie gut es jedes einzelne Element wiederherstellen konnte. Nach ausreichend Übung hat es internalisiert, wie Stimmen, Bassdrums, Snares und Basslinien klingen, so dass es sie auch aus Mischungen, die es noch nie gehört hat, schätzen kann.
Wichtige Erkenntnis: Die Trennung ist keine „Entmischung“. Die ursprünglichen Multitracks sind mathematisch verschwunden. Das Modell rekonstruiert was jede einzelne Spur wahrscheinlich war: eine sehr fundierte Schätzung, die zufällig erstaunlich gut ist.
Die klassische Aufteilung besteht aus vier Spuren: Gesang, Drums, Bass, andere, da das Standard-Forschungsdatenset (MUSDB18) so beschriftet ist und Modelle nur Kategorien lernen können, die in ihren Trainingsdaten genannt werden. Sechsspurige Modelle wie das von StemGrab verwenden zusätzlich Gitarre und Klavier, ausgegliedert aus „alles andere“.
Wenn man noch weiter geht (Hauptgesang von Begleitgesang trennen, Gitarren aufteilen, Synthesizer isolieren), handelt es sich meist nicht um ein Modellierungsproblem, sondern um ein Daten- problem. Es gibt keine große öffentliche Datenbank mit Liedern, die beispielsweise eine markierte Tamburin-Spur enthält. Solange diese Daten nicht vorhanden sind, bleibt „alles andere“ in der anderen Spur zusammengefügt.
Die einfachen Spuren sind einfach, weil jede eine ausgeprägte Nische einnimmt:
Gitarre und Klavier sind vielseitig einsetzbar. Beide decken fast den gesamten Frequenzbereich ab, beide spielen Akkorde und Melodien, und sie überlappen sich stark: miteinander, mit Synthesizer-Klängen, mit Streichern, mit Orgeln. Ein klarer Klaviersound und ein warmer Pad-Sound, die denselben Akkord spielen, sind selbst für das menschliche Ohr kaum zu unterscheiden. Wenn man einer Gitarre Distortion hinzufügt, wird sie zu breitbandigem Rauschen mit Tonhöhe, das leicht mit Synthesizern verwechselt werden kann. Und die Trainingsdaten für diese beiden Kategorien sind nur ein Bruchteil dessen, was es für Gesang gibt. Das Ergebnis: Bei einem spärlichen Singer-Songwriter-Track kann der Gitarren-Stem hervorragend klingen; bei einem dichten Klangteppich ist mit Übersprechen und Verschmieren zu rechnen.
Das bedeutet nicht, dass die Technologie schlecht ist: Gesang, Drums und Bass in einem modernen Mix klingen sauberer, als es jemand im Jahr 2018 für möglich gehalten hätte. Es bedeutet lediglich, dass die ehrliche Aussage „bemerkenswert gute Schätzung“ lautet, nicht „Magie“.
Der schnellste Weg, um Ihre Erwartungen zu kalibrieren, ist, einen Track abzuspielen, den Sie in- und auswendig kennen. Laden Sie ein Lied in StemGrab hochIn etwa einer Minute erhalten Sie kostenlos und ohne Registrierung Gesang, Schlagzeug, Bass, Gitarre, Klavier, andere Elemente sowie eine saubere Instrumentalversion. Setzen Sie dann Kopfhörer auf und hören Sie sich an, was das Modell richtig gemacht hat und wo es falsch lag.
Kostenlos einen Titel aufteilen →
Weitere Angebote von StemGrab: Üben Sie jedes Instrument mit einzelnen Spuren · Was Sie rechtlich gesehen mit einzelnen Spuren machen dürfen