Von Sam Ridder, Ich baue und betreibe StemGrab auf meiner eigenen Hardware, alleine. Wer ich bin.
Ein fertiger Song ist wie ein gebackener Kuchen: Die Zutaten sind drin, aber man kann sie nicht mehr herausnehmen.
Wie genau kann ein neuronales Netzwerk den isolierten Gesang aus einer 40 Jahre alten Aufnahme extrahieren? Hier ist die ganze Geschichte, einschließlich dessen, was noch nicht funktioniert.
Stems in voller Qualität. Keine Registrierung erforderlich, keine Gebühren pro Titel. Gleiches Modell und dieselbe Qualität mit 192 kbps (oder verlustfreiem WAV) wie in der kostenpflichtigen Version, Titel mit einer Länge von bis zu 15 Minuten.
Bevor wir zur historischen Einordnung kommen, hier die Ergebnisse unserer eigenen Tests mit diesem Modell: In den 40 Tagen, in denen wir die Daten erfasst haben, haben wir mit allen Tools auf der Website insgesamt 2.264 Trennungen durchgeführt. Dabei wurden 1.336 Uploads verworfen, bevor sie überhaupt das Modell erreichten, entweder wegen eines falschen Formats, fehlender Dateierweiterung oder weil die Audiodatei die maximale Länge überschritt, nicht weil die Trennung selbst fehlerhaft war. Von den Uploads, die erfolgreich verarbeitet wurden, sind die meisten schnell abgeschlossen: Das System hat typische Ausführungszeiten von 2,6 bzw. 2,5 Sekunden für die schnellsten Aufgaben protokolliert (jeweils 15 bzw. 12 Mal in diesem Zeitraum), aber ein langer oder komplexer Upload kann die Ausführungszeit deutlich verlängern, die langsamsten Ausführungen, die wir protokolliert haben, dauerten über zwei Minuten, was aber immer noch nur ein Bruchteil der Kosten wäre, die für die gleiche Trennung mit gemieteter Cloud-GPU-Rechenzeit anfallen würden. All dies sagt Ihnen jedoch noch nicht wie Es funktioniert zwar, aber warum einige Stems sauberer klingen als andere, dafür hier der eigentliche Mechanismus, Phasentricks inklusive.
Seit Jahrzehnten ist „Stimmentferner„bedeutete Folgendes: PhaseninversionIn vielen Mischungen wird der Hauptgesang exakt in der Mitte platziert, sodass er in den linken und rechten Kanälen identisch ist. Wenn man die Polarität eines der Kanäle umkehrt und beide Kanäle zusammenführt, löschen sich alle identischen Elemente aus. Der Gesang verschwindet.
Das Gleiche gilt für alle anderen Elemente im Zentrum: die Bassdrum, die Snare, der Bass. Was übrig bleibt, klingt hohl und phasenverschoben, als ob die Band am Ende eines langen Flurs spielt. Und der Trick funktionierte nur in eine Richtung: Er konnte (sozusagen) entfernen das Zentrum, aber es könnte niemals isolieren nur der Gesang. Außerdem funktionierte es bei Monoaufnahmen, bei Gesang mit Stereo-Hall oder bei allem, was nicht exakt in der Mitte gemischt war, überhaupt nicht. Die Phasenauslöschung war eher eine nette Spielerei als ein nützliches Werkzeug.
Die ersten echten Separatoren auf Basis von maschinellem Lernen (ca. 2015-2019) arbeiteten an Spektrogrammeein Bild des Liedes, das zeigt, welche Frequenzen zu jedem Zeitpunkt am lautesten sind. Ein neuronales Netzwerk wurde darauf trainiert, dieses Bild zu analysieren und ein Maske darüber: „Diese Pixel gehören zur Stimme, jene zu den Drums.“ Multipliziere den Mix mit der Maske, wandele zurück in Audio um, fertig.
Das war ein großer Schritt: Plötzlich konnte man einen Gesangstrack isolieren, und nicht nur ausblenden. Aber die Maskierungsfunktion hat ihre Grenzen: Wenn ein Gesang und eine Gitarre den gleichen Frequenzbereich einnehmen, gleich Frequenz bei gleich in einem Musikstück, das sich ständig verändert, muss ein Effektgerät diese Energie irgendwie aufteilen, und das Ergebnis ist das wässrige, unterwasserartige Klangbild, an das sich frühe Nutzer erinnern. Spektrogramme verwerfen ebenfalls Phase Informationen, die das Modell dann bei der Umwandlung zurück in Audio simulieren muss.
Moderne Separatoren (einschließlich der Engine hinter StemGrab) greift das Problem gleichzeitig aus zwei Richtungen an (daher „Hybrid“). Ob man es Stem-KI, Stem-Separator oder Stem-Splitter nennt, dieser zweigleisige Ansatz ist es, der die Arbeit erledigt:
Wie kann es überhaupt erkennen, was „Gesang“ ist? Schulung. Das Modell wurde anhand von Tausenden von Songs trainiert, bei denen die einzelnen Spuren verfügbar waren. Es mischte diese zusammen und bewertete, wie gut es jede einzelne Spur wiederherstellen konnte. Nach ausreichend Übung hat es verinnerlicht, wie Gesang, Bassdrum, Snare und Basslinien klingen, und kann diese nun auch aus Mischungen, die es noch nie gehört hat, rekonstruieren. Dies ist keine allgemeine Anleitung zur Verwendung von KI-Tools für andere Aufgaben, es beschreibt speziell, wie dieses eine Modell gelernt hat, eine Gesangsspur, eine Bassdrum und eine Basslinie aus einer einzigen Mischdatei zu rekonstruieren.
Wichtige Erkenntnis: Die Trennung ist nicht einfach nur das „Entmischen“. Die ursprünglichen Multitracks sind mathematisch gesehen unwiederbringlich verloren. Das Modell stellt wieder her was jede einzelne Spur wahrscheinlich ist: eine fundierte Vermutung, die sich überraschend gut herausstellt.
Die klassische Aufteilung besteht aus vier einzelnen Spuren: Gesang, Schlagzeug, Bass, Sonstiges, da das Standard-Forschungsdatenset (MUSDB18) so beschriftet ist, und Modelle können nur Kategorien lernen, die in ihren Trainingsdaten vorkommen. Modelle mit sechs einzelnen Spuren, wie das von StemGrab verwendete, fügen Gitarre und Klavier, ausgegliedert aus „Sonstiges“.
Das weitere Aufteilen (das Herauslösen einer Hauptgesangsspur von den Hintergrundharmonien, das Trennen der Gitarren, das Isolieren des Synthesizers) ist meistens kein Problem der Modellierung, sondern ein Daten Problem: Es gibt keine große, öffentliche Datenbank mit Songs, in der beispielsweise eine einzelne Spur für eine Tamburin enthalten ist. Solange diese Daten nicht verfügbar sind, bleiben „alle anderen“ Elemente weiterhin miteinander verbunden andere Titel.
Die einfachen Spuren sind einfach, weil jede eine ausgeprägte Nische einnimmt:
Gitarre und Klavier sind wandelbare Instrumente. Beide decken fast den gesamten Frequenzbereich ab, beide spielen Akkorde und Melodien, und sie überlappen sich stark: miteinander, mit Synthesizer-Flächen, mit Streichern, mit Orgeln. Ein klarer Klavierklang und eine warme Flächenklang, die denselben Akkord spielen, sind selbst für das menschliche Ohr schwer zu unterscheiden. Wenn man eine Gitarre mit Verzerrung spielt, wird sie zu einem breitbandigen, tonhaltigen Rauschen, das leicht mit Synthesizern verwechselt werden kann. Und die Trainingsdaten für diese beiden Kategorien sind nur ein Bruchteil dessen, was für Gesang vorhanden ist. Das Ergebnis: In einem spärlichen Singer-Songwriter-Stück kann die Gitarrenspur hervorragend klingen; in einem dichten, wuchtigen Mix sollte man jedoch mit Übersprechen und Klangverschmierung rechnen.
Das bedeutet nicht, dass die Technologie schlecht ist: Gesang, Drums und Bass in einem modernen Mix klingen sauberer, als es jemand im Jahr 2018 für möglich gehalten hätte. Es bedeutet lediglich, dass die ehrliche Aussage „bemerkenswert gute Schätzung“ lautet, nicht „Magie“.
Der schnellste Weg, Ihre Erwartungen richtig einzuschätzen, ist, einen Track abzuspielen, den Sie auswendig kennen. Laden Sie einen Song in StemGrab hochInnerhalb von etwa einer Minute erhalten Sie kostenlos und ohne Registrierung Gesang, Schlagzeug, Bass, Gitarre, Klavier, andere Instrumente und eine saubere Instrumentalspur. Setzen Sie dann Kopfhörer auf und hören Sie sich an, was das Modell richtig gemacht hat und wo es sich geirrt hat. Im Wesentlichen geht es bei jeder Software zur Trennung einzelner Spuren darum: ein Modell gibt sein bestes, und Sie überprüfen das Ergebnis anhand Ihres eigenen Gehörs.
Teile einen Titel kostenlos auf →
Mehr von StemGrab: Üben Sie jedes Instrument mit Stems · was Sie mit den einzelnen Spuren rechtlich tun dürfen
Von Sam Ridder, Ich baue und betreibe StemGrab auf meiner eigenen Hardware, alleine. Wer ich bin.
ShinobiTools · KvK 42147182 · info@shinobitools.com