Yapay zeka ile ses ayrıştırma aslında nasıl

On yıllardır,ses çıkarıcı“bu, tek bir şeyi ifade ediyordu: faz kaydırmaBirçok mikste, ana vokal tam ortada olacak şekilde ayarlanır: hem sol hem de sağ kanalda aynı şekilde duyulur. Bir kanaldaki polariteyi tersine çevirip iki kanalı birleştirirseniz, her iki kanalda da aynı olan her şey birbirini götürür. Vokal kaybolur.

Merkezdeki diğer her şey de: kick davulu, snare, bas. Kalanlar boş ve fazlı seslenmiş, sanki band bir koridorun sonunda çalıyormuş gibi. Ve hile sadece bir yöne çalışıyordu: yapabilirdi (kabaca) kaldır merkezde olmasına rağmen, asla ayrıştırmak yalnızca vokali işlemek için kullanıldığında. Ayrıca, mono kayıtlar, stereo yankı efektli vokaller ve tam olarak merkeze yerleştirilmemiş herhangi bir ses üzerinde de tamamen başarısız oldu. Faz kaydırma özelliği, kullanışlı bir araçtan ziyade sadece bir eğlence unsuruydu.

İlk gerçek makine öğrenmesi ayırıcıları (2015-2019 civarında) bununla çalıştı spektrogramlarŞarkının hangi anlarda hangi frekansların daha yüksek sesle duyulduğunu gösteren bir görsel. Bu görseli inceleyerek bir resim oluşturması için bir yapay sinir ağı eğitildi maske işlem tamam: "Bu pikseller vokale, diğerleri davula ait." Miksi maskeyle çarpın, tekrar ses dosyasına dönüştürün, bitti.

Bu, büyük bir atılım oldu: artık bir vokali sadece susturmakla kalmıyor, aynı zamanda izole de edebiliyordunuz. Ancak maskeleme işleminin doğal bir sınırı var: bir vokal ve bir gitar aynı frekans aralığını paylaştığında aynı belirli bir frekansta aynı müziğin gerçek akışında sürekli olarak meydana gelen anlık değişimler, bir maske tarafından bir şekilde ayrıştırılmak zorundadır ve sonuç, ilk kullanıcıların hatırladığı o sulu, su altı yankısıdır. Spektrogramlar da bazı verileri atar evre bu, modelin daha sonra ses olarak yeniden oluştururken uydurması gereken bilgilerdir.

Klasik bölünüş dört stemindir: vokal, davul, bas gitar, diğer, çünkü standart araştırma veri seti (MUSDB18) bu şekilde etiketlenir ve modeller yalnızca eğitim verilerinin adlandırdığı kategorileri öğrenebilir. StemGrab'ın çalıştırdığı gibi altı stemli modeller ekle gitar ve piyano, "diğer" den oyulmuş.

Daha ileri düzey işlemler (ana vokali arka vokallerden ayırmak, gitarları birbirinden ayırmak, synth sesini izole etmek) genellikle bir modelleme problemi değil, daha çok bir veri sorun şu: Örneğin, etiketlenmiş bir tef stemi olan geniş bir şarkı veri tabanı mevcut değil. Bu veri oluşturulana kadar, "diğer her şey" bir arada kalmaya devam edecek diğer parça.

Kolay kullanılan araçlar, her birinin kendine özgü bir alana hitap etmesi nedeniyle kolaydır:

• Vokal başka hiçbir şeyle ortak noktası olmayan, kendine özgü bir ses parmak izine sahip: formantlar, vibrato, nefes, ünsüzler. İnsan sesi, tüm ses araştırmaları alanında en çok incelenen ses türüdür.
• Davullar. geçicidir: kısa, geniş bant darbeleri keskin atakla, ritimleri öngörülebilir. Bir karışımda snare vuruşu gibi görünen başka hiçbir şey yoktur.
• Bas. Yaklaşık 120 Hz'in altındaki en düşük oktav aralığında neredeyse tek başına hüküm sürüyor.

Gitar ve piyano, renk değiştiren kameleonler gibidir. Her ikisi de neredeyse tüm frekans aralığını kapsıyor, her ikisi de akorlar ve melodiler çalıyor ve büyük ölçüde birbirleriyle, synth sesleriyle, yaylılarla ve orgla örtüşüyor. Aynı akoru çalan temiz bir piyano ve sıcak bir synth sesi, insan kulağı için bile ayırt edilmesi zor olabilir. Bir gitar sesine distorsiyon eklendiğinde, geniş bantlı ve perdesiz bir gürültüye dönüşür ve bu da synth sesleriyle kolayca karıştırılabilir. Ve bu iki kategori için kullanılan eğitim verisi, vokal verilerinin çok küçük bir kısmıdır. Sonuç: seyrek bir şarkı yazarı parçası üzerinde gitar sesi harika bir şekilde duyulabilirken, yoğun bir ses duvarı karışımında sesin bulanık ve dağınık çıkması beklenebilir.

• Yankı ve eko efektleri belirsizliğini koruyor. Bir vokalin yankı efekti, "vokale özgü bir oda sesi" oluşturur ve bu efektin bir kısmı vokal parçasına, bir kısmı ise enstrümantal parçaya yansır. Mevcut hiçbir model bu durumu tam olarak çözemiyor.
• Yoğun karışımlar, kalite açısından maliyetlidir. Metal, orkestral pop ve yoğun katmanlı EDM türleri, modelin saniyede daha fazla ve daha zorlu karar almasını gerektirir: buna bağlı olarak hatalar da artar.
• Lo-fi kaynakları zordur. Bant gürültüsü, plak sesi, mono kayıtlar ve düşük bit hızında yapılan dijitalleştirmeler, modelin üzerinde çalışabileceği veri miktarını azaltır. 128 kbps MP3 formatında bir dosya, ayırıcı programın kullanmak isteyeceği bazı detayları zaten ortadan kaldırmıştır.
• Farklı kategorilerdeki sesler, aracın kafasını karıştırıyor. Aşırı derecede vokoder veya otomatik ses düzenleme (autotune) uygulanmış vokallerin bir kısmı "diğer" kategorisine dahil edilebilir; hem davul hem de bas hattı görevi gören bir 808 sesi, davul ve bas kategorileri arasında bölünür.

Bunların hiçbiri teknolojinin kötü olduğu anlamına gelmez: modern bir müzik karışımında vokaller, davullar ve bas daha temiz çıkıyor ve bu durum 2018'de kimsenin hayal edemeyeceği kadar iyi bir sonuçtur. Bu, gerçekçi beklentinin "şaşırtıcı derecede iyi bir tahmin" olduğu, "sihir" olmadığı anlamına gelir.

Beklentilerinizi en hızlı şekilde ayarlamanın yolu, çok iyi bildiğiniz bir parkuru denemektir. Bir şarkıyı StemGrab'a yükleyinYaklaşık bir dakika içinde vokal, davul, bas, gitar, piyano, diğer enstrümanlar ve temiz bir enstrümantal parçayı ücretsiz olarak elde edeceksiniz, herhangi bir hesap oluşturmanıza gerek yok. Ardından kulaklıklarınızı takın ve modelin nerede doğru tahminlerde bulunduğunu ve nerede yanıldığını dinleyin. Sonuçta, herhangi bir ses ayrıştırma yazılımının özü budur: Modelin en iyi tahmini, sizin kendi kulaklarınızla kontrol edilir.

Bir parçayı ücretsiz olarak ayırın →

StemGrab'dan daha fazlası: herhangi bir enstrümanı stemlerle alıştır · Stem kelimelerle yasal olarak neler yapabileceğiniz