Por Sam Ridder, Construyo y ejecuto StemGrab en mi propio hardware, por mi cuenta. Quién soy.
Una canción ya mezclada es como un pastel horneado: los ingredientes están ahí, pero no se pueden separar.
¿Cómo puede una red neuronal extraer la voz de una grabación de hace 40 años? Aquí está la verdadera historia, incluyendo lo que todavía no funciona.
Pistas de calidad completa. Sin cuenta, sin honorarios por pista. Mismo modelo y la misma calidad de 192 kbps (o WAV sin pérdida) que la versión de pago, con una duración máxima de 15 minutos por pista.
Antes de entrar en detalles, aquí están los resultados que obtuvimos al probar esta herramienta: en los 40 días que llevamos utilizándola, hemos realizado 2.264 separaciones con todas las herramientas del sitio. Antes de que los archivos llegaran al modelo, rechazamos 1.336 de ellos debido a que tenían un formato incorrecto, no incluían la extensión de archivo o superaban la longitud máxima permitida, no porque la separación en sí fallara. De los archivos que sí se procesaron, la mayoría se completaron rápidamente: el sistema registró tiempos promedio de 2,6 y 2,5 segundos para las tareas más rápidas (15 y 12 veces respectivamente en ese período), pero un archivo largo o denso puede tardar mucho más; las tareas más lentas que registramos tardaron más de dos minutos, lo cual sigue siendo una fracción del costo que tendría realizar la misma separación utilizando tiempo de GPU en la nube. Todo esto no te dice cómo sí que funciona, y aquí explicamos por qué algunos resultados son mejores que otros; para ello, presentamos el mecanismo real, incluyendo los trucos de fase.
Durante décadas,eliminador de vocessignificaba una cosa: inversión de faseEn muchas mezclas, la voz principal se sitúa exactamente en el centro: es idéntica en el canal izquierdo y en el derecho. Si se invierte la polaridad de uno de los canales y se suman ambos, todo aquello que sea idéntico en ambos canales se anulará. La voz desaparecerá.
Lo mismo ocurre con el resto de los elementos del centro: la caja, el bombo, el bajo. Lo que queda suena hueco y con un efecto de fase, como si la banda estuviera tocando al final de un pasillo. Y este truco solo funciona en una dirección: puede (más o menos) eliminar el centro, pero nunca podría aislar la voz sola. Además, no funcionó en absoluto con grabaciones mono, con voces con reverberación estéreo o con cualquier sonido que no estuviera mezclado exactamente en el centro. La cancelación de fase era más una curiosidad que una herramienta útil.
Los primeros clasificadores basados en aprendizaje automático (alrededor de 2015-2019) funcionaban con espectrogramasuna imagen de la canción que muestra qué frecuencias son más intensas en cada momento. Se entrenó una red neuronal para analizar esa imagen y generar una máscara Ya está: “estos píxeles corresponden a la voz, esos a la batería”. Multiplica la mezcla por la máscara, conviértela de nuevo en audio y listo.
Fue un gran avance: de repente, podías aislar una voz, no solo eliminarla. Pero la técnica de enmascaramiento tiene un límite inherente: cuando una voz y una guitarra comparten el mismo espacio sonoro igual frecuencia en el igual el matiz (que está presente constantemente en la música real), por lo que el efecto de máscara debe dividir esa energía de alguna manera, y el resultado es ese sonido acuático y distorsionado que recuerdan los primeros usuarios. Los espectrogramas también eliminan fase información que el modelo debe simular al convertirla de nuevo en audio.
Separadores modernos (incluido el motor detrás de StemGrab) ataca el problema desde dos direcciones a la vez (de ahí el término "híbrido"). Ya sea que lo llames una IA de separación de pistas, un separador de pistas o un divisor de pistas, este enfoque de doble vertiente es el que hace el trabajo:
¿Cómo sabe qué es exactamente una "vocal"? Capacitación. El modelo se entrenó con miles de canciones en las que se disponía de las pistas de audio originales, mezclándolas y evaluando su propio rendimiento en la recuperación de cada parte. Tras realizar este proceso suficientes veces, el modelo aprendió a reconocer cómo suenan las voces, los bombos, las cajas y las líneas de bajo, hasta el punto de poder estimarlas a partir de mezclas que nunca había escuchado. Este no es un tutorial general sobre el uso de herramientas de IA para otras tareas, sino una explicación específica de cómo este modelo en particular aprendió a reconstruir una voz, un bombo y una línea de bajo a partir de un único archivo de audio mezclado.
Punto clave: la separación no es simplemente "desmezclar". Las pistas originales ya no existen, se han eliminado matemáticamente. El modelo reconstruye de qué podría tratarse cada elemento: una hipótesis muy fundamentada que, por casualidad, resulta ser sorprendentemente acertada.
La división clásica se realiza en cuatro partes: voz, batería, bajo, otros, ya que así es como se etiqueta el conjunto de datos de investigación estándar (MUSDB18), y los modelos solo pueden aprender las categorías que se mencionan en sus datos de entrenamiento. Los modelos de seis fuentes, como el que utiliza StemGrab, añaden guitarra y piano, creada a partir de la categoría “otros”.
Profundizar en la separación de elementos (como aislar la voz principal de las armonías de fondo, separar las guitarras o aislar el sintetizador) no es principalmente un problema de modelado, sino más bien un problema de datos problema. No existe una gran biblioteca pública de canciones con, por ejemplo, una pista de pandereta etiquetada. Hasta que esos datos estén disponibles, "todo lo demás" seguirá estando agrupado en el otro pista.
Las ramas principales son fáciles porque cada una ocupa un espacio bien definido:
La guitarra y el piano son instrumentos versátiles. Ambos cubren casi todo el rango de frecuencias, ambos reproducen acordes y melodías, y se superponen en gran medida: entre sí, con los sonidos de sintetizador, con las cuerdas, con el órgano. Un piano limpio y un sonido de sintetizador cálido que tocan el mismo acorde son realmente ambiguos, incluso para el oído humano. Si se añade distorsión a una guitarra, se convierte en ruido de banda ancha con tono, que se confunde fácilmente con los sintetizadores. Además, los datos de entrenamiento para estas dos categorías representan una pequeña fracción de los que existen para las voces. El resultado: en una pista escasa de un cantautor, la pista de guitarra puede sonar de maravilla; en una mezcla densa y con muchos sonidos, espere que haya interferencias y que el sonido se difumine.
Ninguno de estos problemas significa que la tecnología sea mala: las voces, la batería y el bajo en una mezcla moderna suenan más limpios de lo que nadie habría creído posible en 2018. Significa que la realidad es que ofrece una "estimación notablemente buena", no "magia".
La forma más rápida de ajustar tus expectativas es probar una pista que conozcas a la perfección. Sube una canción a StemGrabObtendrás las pistas de voz, batería, bajo, guitarra, piano y otros instrumentos, además de una pista instrumental limpia, en aproximadamente un minuto, de forma gratuita y sin necesidad de crear una cuenta. Luego, ponte los auriculares y escucha qué aspectos ha interpretado correctamente el modelo y en cuáles se ha equivocado. En última instancia, todo el software de separación de pistas se reduce a eso: la mejor interpretación de un modelo, que se comprueba con tus propios oídos.
Más de StemGrab: practica con cualquier instrumento utilizando pistas de acompañamiento · qué puedes hacer legalmente con los stems
Por Sam Ridder, Construyo y ejecuto StemGrab en mi propio hardware, por mi cuenta. Quién soy.
ShinobiTools · KvK 42147182 · info@shinobitools.com