Par Sam Ridder, Je construis et exécute StemGrab sur mon propre matériel. Qui je suis.
Un morceau mixé, c’est comme un gâteau cuit : les œufs et la farine sont dedans, mais on ne peut plus les enlever.
Comment un réseau neuronal parvient-il à extraire la voix d’un enregistrement datant de 40 ans ? Voici la véritable explication, ainsi que les points qui restent à améliorer.
Des pistes de qualité complète. Pas de compte, pas de frais par piste. Même modèle et même qualité 192 kbps (ou WAV sans perte) que la version payante, avec des morceaux d’une durée maximale de 15 minutes.
Avant de passer à l’analyse historique, voici les chiffres que nous avons obtenus en utilisant nous-mêmes cet outil : sur l’ensemble des outils du site, nous avons effectué 2 264 séparations au cours des 40 jours pendant lesquels nous avons effectué des tests, et nous avons rejeté 1 336 fichiers avant même qu’ils ne soient pris en compte par le modèle : format incorrect, absence d’extension de fichier ou fichier dépassant la limite de longueur, et non pas un problème avec la séparation elle-même. Parmi les fichiers qui sont pris en compte, la plupart sont traités rapidement : le système a enregistré des temps d’exécution moyens de 2,6 et 2,5 secondes pour les tâches les plus rapides (respectivement 15 et 12 fois pendant cette période), mais un fichier long ou volumineux peut entraîner un temps d’exécution beaucoup plus long : les traitements les plus lents que nous avons enregistrés ont duré plus de deux minutes, ce qui reste une fraction du temps que prendrait la même séparation sur une plateforme de location de GPU en nuage. Tout cela ne vous dit pas comment en réalité, l’outil fonctionne, et voici pourquoi certaines pistes séparées sont plus propres que d’autres : nous vous expliquons ici le fonctionnement précis, avec les astuces de phase incluses.
Depuis des décennies, «suppresseur de voix« signifiait une chose : » inversion de phaseDans de nombreux mixages, la voix principale est centrée : elle est identique dans les canaux gauche et droit. Inversez la polarité d’un des canaux et additionnez les deux, et tout ce qui est identique dans les deux canaux s’annule. La voix disparaît.
Il en va de même pour tous les autres éléments du mix : la grosse caisse, la caisse claire, la basse. Ce qui reste sonne creux et déphasé, comme si le groupe jouait au fond d’un couloir. Et l’astuce ne fonctionne que dans un seul sens : elle peut (plus ou moins) supprimer le centre, mais cela ne pouvait jamais isoler la voix seule. De plus, il s’est avéré totalement inefficace pour les enregistrements mono, pour la voix avec réverbération stéréo et pour tout ce qui n’était pas mixé parfaitement au centre. L’annulation de phase n’était qu’un simple effet, et non un outil véritable.
Les premiers vrais séparateurs par apprentissage automatique (vers 2015-2019) fonctionnaient sur spectrogrammes: une image de la chanson qui indique les fréquences les plus fortes à chaque instant. Un réseau neuronal a été entraîné à analyser cette image et à créer une représentation visuelle masque en résumé : « ces pixels représentent la voix, ceux-ci les percussions ». On multiplie le mix par le masque, on reconvertit le tout en audio, et c’est terminé.
C’était une avancée considérable : soudain, vous pouviez isoler la voix, et pas seulement la supprimer. Mais la technique de masquage a ses limites : lorsque la voix et une guitare se superposent, identique fréquence au niveau de identique lorsqu’un son change constamment (ce qui est le cas dans la musique réelle), un masque doit d’une manière ou d’une autre diviser cette énergie, et le résultat est ce son aquatique et légèrement déformé dont se souviennent les premiers utilisateurs. Les spectrogrammes, eux aussi, éliminent phase informations que le modèle doit ensuite simuler pour les restituer sous forme audio.
Les séparateurs modernes (notamment le moteur de StemGrab) attaquez le problème simultanément sous deux angles (d’où le terme « hybride »). Que vous l’appeliez une IA de séparation des pistes, un séparateur de pistes ou un diviseur de pistes, c’est cette approche à deux volets qui permet d’obtenir le résultat souhaité :
Comment cet outil parvient-il à identifier ce qu’est une « voix » ? Formation. Le modèle a été entraîné à partir de milliers de chansons pour lesquelles les pistes séparées réelles étaient disponibles. Il les a mélangées et s’est auto-évalué en fonction de sa capacité à reconstituer chaque partie. Après avoir répété ce processus un grand nombre de fois, il a intégré les caractéristiques sonores des voix, des rythmes de batterie, des caisses claires et des lignes de basse, au point de pouvoir les estimer à partir de morceaux qu’il n’a jamais entendus. Il ne s’agit pas d’un tutoriel général sur l’utilisation d’outils d’IA pour d’autres tâches, mais plutôt d’une explication précise de la manière dont ce modèle spécifique a appris à reconstruire une voix, un rythme de batterie et une ligne de basse à partir d’un seul fichier mixé.
Point essentiel : la séparation n’est pas un simple « dé-mélange ». Les pistes audio originales ont disparu, et ce, de manière irréversible. Le modèle reconstruit ce que chaque piste séparée était très probablement : une supposition éclairée qui s’avère étonnamment précise.
La configuration classique consiste en quatre pistes séparées : la voix, batterie, basse, autres, car c’est ainsi que le jeu de données de référence (MUSDB18) est étiqueté, et les modèles ne peuvent apprendre que les catégories présentes dans les noms de leurs données d’entraînement. Les modèles à six pistes, comme celui utilisé par StemGrab, ajoutent guitare et piano, issu de la catégorie « autres ».
Aller plus loin (séparer la voix principale des harmonies, isoler les guitares, extraire le synthétiseur) n’est généralement pas un problème de modélisation, mais plutôt un problème de données problème. Il n’existe pas de vaste bibliothèque publique de chansons contenant, par exemple, une piste séparée de tambourin clairement identifiée. Tant que ces données n’existeront pas, « tout le reste » restera regroupé autre piste.
Les pistes faciles à séparer le sont parce que chacune occupe une niche distincte :
La guitare et le piano sont des instruments caméléons. Les deux couvrent presque toute la gamme de fréquences, les deux jouent des accords et des mélodies, et ils se chevauchent beaucoup : entre eux, avec les nappes de synthé, avec les cordes, avec l’orgue. Un piano clair et une nappe chaleureuse jouant le même accord sont réellement ambigus, même pour l’oreille humaine. Ajoutez de la distorsion à une guitare et elle se transforme en un bruit à large bande avec une hauteur de son, facilement confondable avec des synthés. De plus, les données d’entraînement pour ces deux catégories ne représentent qu’une fraction de ce qui existe pour la voix. Le résultat : sur un morceau épuré de chanteur-compositeur, la piste séparée de la guitare peut ressortir magnifiquement ; dans un mixage dense et saturé, attendez-vous à des interférences et un effet de flou.
Cela ne signifie pas que la technologie est mauvaise : la voix, la batterie et la basse d’un mix moderne ressortent plus clairement que ce qu’on aurait pu imaginer en 2018. Cela signifie simplement que l’estimation honnête est « remarquablement bonne », et non « magique ».
Le moyen le plus rapide d’ajuster vos attentes est de tester une piste que vous connaissez parfaitement. Importez une chanson dans StemGrabVous obtiendrez la voix, la batterie, la basse, la guitare, le piano, d’autres instruments, ainsi qu’une version instrumentale propre, en environ une minute, gratuitement et sans avoir besoin de créer un compte. Ensuite, mettez vos écouteurs et écoutez ce que le modèle a réussi à isoler correctement, et où il s’est trompé. En fin de compte, c’est ce à quoi se résume tout logiciel de séparation de pistes : une estimation du modèle, que vous pouvez vérifier vous-même.
Divisez gratuitement une piste →
Découvrez d’autres fonctionnalités de StemGrab : Entraînez-vous à jouer de n’importe quel instrument avec les pistes séparées · ce que vous avez le droit de faire avec les pistes séparées, en toute légalité
Par Sam Ridder, Je construis et exécute StemGrab sur mon propre matériel. Qui je suis.
ShinobiTools · KvK 42147182 · info@shinobitools.com