Por Sam Ridder, Construo e dirijo o StemGrab por conta própria. Quem eu sou.
Uma canção mista é como um bolo assado: os ovos e a farinha estão lá dentro, mas não se pode puxá-los de volta.
Como é que uma rede neural lhe dá o vocal isolado de um disco de 40 anos? Aqui está a verdadeira história, incluindo o que ainda não funciona.
Stems de qualidade total. Nenhuma conta, nenhuma taxa por faixa. Mesmo modelo e mesmo 192 kbps (ou WAV sem perdas) do nível pago, Rastreia até 15 minutos.
Antes da lição de história, os números de executar este modelo nós mesmos: em todas as ferramentas do site, temos executado 2.264 separações nos 40 dias que temos medido, rejeitando 1.336 uploads antes que eles chegaram ao modelo em tudo, formato errado, nenhuma extensão de arquivo, ou uma faixa após a tampa de comprimento, não a separação em si falha. Dos uploads que passam, a maioria termina rápido: a infra-estrutura registrou execuções típicas de 2,6 e 2,5 segundos em seus trabalhos mais rápidos (15 e 12 vezes, respectivamente naquela janela), mas um upload longo ou denso pode passar bem além disso, As corridas mais lentas que registramos levam mais de dois minutos, o que ainda é uma fração do que a mesma separação custaria no tempo da GPU de nuvem alugada. Nada disso te diz como funciona, no entanto, ou porque alguns stems saem mais limpos do que outros, Para isso, aqui está o mecanismo real, incluindo truques de fase.
Durante décadas, "removedor vocal"significava uma coisa: inversão de fase. Em muitas misturas, o vocal principal é colocado no centro morto: idêntico no canal esquerdo e direito. Flip a polaridade de um canal e somar os dois, e tudo idêntico em ambos os canais cancela. O vocal desaparece.
Assim como tudo o mais no centro: o tambor de pontapé, o laço, o baixo. O que resta soa oco e phasey, como a banda tocando no final de um corredor. E o truque só funcionava de uma forma: podia remover o centro, mas nunca poderia isolado O vocal sozinho. Também falhou completamente em gravações mono, em vocais com reverb estéreo, e em qualquer coisa não misturada exatamente no meio. Cancelamento de fase foi um truque de festa, não uma ferramenta.
Os primeiros separadores reais de aprendizado de máquina (em torno de 2015-2019) trabalharam em espectrogramas: uma imagem da canção mostrando quais frequências são altas em cada momento. Uma rede neural foi treinada para olhar para essa imagem e pintar um máscara sobre ele: "estes pixels pertencem à voz, aqueles pertencem aos tambores." Multiplique a mistura pela máscara, converter de volta para áudio, feito.
Este foi um salto: de repente você poderia isolar um vocal, não apenas cancelá-lo. Mas mascarar tem um teto embutido: quando um vocal e uma guitarra ocupam mesmo frequência na mesmo momento (que acontece constantemente na música real), uma máscara tem que dividir essa energia de alguma forma, e o resultado é a água, warble subaquático primeiros usuários lembrar. Os espectrogramas também descartam fase informações, que o modelo então tem que fingir no caminho de volta para o áudio.
Separadores modernos StemGrab) atacar o problema de duas direções ao mesmo tempo (daí "híbrido"). Qualquer termo que você usar para ele, ai de stem, separador de stems de ai, divisor de stems ou separação de fonte, os mecanismos abaixo descritos são a abordagem de duas pontas descrita abaixo:
Como sabe o que é um "vocal"? Treino. O modelo aprendeu com milhares de músicas onde os verdadeiros stems isolados estavam disponíveis, misturando-os e classificando-se em quão bem recuperou cada parte. Depois de bastante disso, ele internalizou o que vozes, chutes, armadilhas e linhas de baixo soam como, o suficiente para estimá-los de misturas que nunca ouviu. Este não é um tutorial geral sobre o uso de ferramentas de IA para outras tarefas, é especificamente como este modelo aprendeu a reconstruir uma voz, um tambor de chute e uma linha de baixo de um único arquivo misto.
Visão chave: separação não é "un-mixing". As multipistas originais desapareceram matematicamente. O modelo reconstrui o que cada stem mais plausivelmente era: um palpite muito educado que acontece ser chocantemente bom.
A divisão clássica é de quatro stems: vocais, bateria, baixo, outros, porque é assim que o conjunto de dados de pesquisa padrão (MUSDB18) é rotulado, e os modelos só podem aprender categorias seus nomes de dados de treinamento. Modelos de seis andares como o que o StemGrab executa adicionar guitarra e piano, esculpido em "outro".
Indo mais longe (dividir um vocal principal das harmonias por trás, separar as guitarras, isolar o sintetizador), principalmente não é um problema de modelagem, é um dados Problema. Não existe uma grande biblioteca pública de canções com, digamos, um stem de pandeiro rotulada. Até que esses dados existam, "tudo mais" permanece colado no outros Track.
As partes fáceis são fáceis porque cada uma ocupa um nicho distinto:
Guitarra e piano são camaleões. Ambos abrangem quase toda a faixa de frequência, ambos tocam acordes e melodias, e se sobrepõem fortemente: um com o outro, com almofadas de sintético, com cordas, com órgão. Um piano limpo e uma almofada quente tocando o mesmo acorde são genuinamente ambíguos até mesmo para os ouvidos humanos. Adicione distorção a uma guitarra e torna-se ruído de banda larga com pitch, facilmente confundido com sintéticos. E os dados de treinamento para estas duas categorias é uma fração do que existe para os vocais. O resultado: em uma faixa de cantora-compositor esparsa, o stem da guitarra pode sair lindamente; em uma mistura de parede-de-som densa, esperar sangramento e manchas.
Nada disso significa que a tecnologia seja ruim: vocais, bateria e baixo em uma mixagem moderna soam mais limpos do que qualquer um poderia imaginar em 2018. Significa que a avaliação honesta é "uma estimativa notavelmente boa", não "mágica".
A maneira mais rápida de calibrar suas expectativas é executar uma pista que você conhece do avesso. Larga uma canção no StemGrab: você terá vocais, bateria, baixo, guitarra, piano, outro e um instrumental limpo de volta em cerca de um minuto, grátis, sem conta. Em seguida, coloque fones de ouvido e ouvir o que o modelo acertou, e onde ele adivinhou. Isso é realmente o que qualquer software de separação de stems vem no final, Um modelo é o melhor palpite, verificado contra os seus próprios ouvidos.
Mais do StemGrab: praticar qualquer instrumento com stems · o que você pode fazer com stems, legalmente
Por Sam Ridder, Construo e dirijo o StemGrab por conta própria. Quem eu sou.
ShinobiTools · KvK 42147182 · info@shinobitools.com