कैसे एआई स्टेम अलगाव वास्तव में काम करता है

अंतिम अपडेट: सितंबर 2026

तो, एक न्यूरल नेटवर्क 40 साल पुराने रिकॉर्ड से अलग किए गए वोकल को आपको कैसे प्रदान करता है? यहाँ वास्तविक कहानी दी गई है, जिसमें यह भी शामिल है कि अभी भी क्या काम नहीं करता है।

हमारा अपना मॉडल असल में क्या करता है, मापकर

इतिहास के सबक से पहले, इस मॉडल को खुद चलाकर मिले आँकड़े: साइट के सभी टूल्स को मिलाकर, 40 दिनों की माप में हमने 2,264 सेपरेशन चलाए, और 1,336 अपलोड मॉडल तक पहुँचने से पहले ही अस्वीकार कर दिए, गलत फ़ॉर्मेट, फ़ाइल एक्सटेंशन नहीं, या ट्रैक लंबाई की सीमा से ज़्यादा; सेपरेशन खुद फ़ेल नहीं हुआ था। जो अपलोड आगे बढ़ते हैं, उनमें से ज़्यादातर जल्दी पूरे हो जाते हैं: बैकएंड ने अपने तेज़ जॉब्स पर 2.6 और 2.5 सेकंड के सामान्य रन दर्ज किए हैं (उस अवधि में क्रमशः 15 और 12 बार), लेकिन कोई लंबा या घना अपलोड इससे काफ़ी आगे जा सकता है, हमारे दर्ज सबसे धीमे रन दो मिनट से ज़्यादा लेते हैं, जो फिर भी किराए के क्लाउड GPU पर उसी सेपरेशन की लागत का एक छोटा-सा हिस्सा है। लेकिन इनमें से कोई भी बात आपको यह नहीं बताती कि यह कैसे यह काम करता है, या कुछ स्टेम्स दूसरों से ज़्यादा साफ़ क्यों निकलते हैं, इसके लिए, यह रहा असली तरीका, फ़ेज़ वाली तरकीबों समेत।

एआई से पहले: फेज-कैंसिल तकनीक

दशकों तक, "स्वर हटानेवाला" का एक ही मतलब था: फेज़ व्युत्क्रमकई मिक्स में, मुख्य गायक की आवाज़ को बिल्कुल बीच में रखा जाता है: बाएँ और दाएँ दोनों चैनलों में समान रूप से। किसी एक चैनल की ध्रुवीयता को उलट दें और दोनों को जोड़ दें, और दोनों चैनलों में समान चीज़ें एक-दूसरे को रद्द कर देंगी। गायक की आवाज़ गायब हो जाएगी।

इसलिए, केंद्र में मौजूद अन्य सभी चीज़ें भी प्रभावित होती हैं: किक ड्रम, स्नेयर, बास। बाकी जो बचता है, वह खोखला और अस्पष्ट लगता है, जैसे कोई बैंड किसी लंबे गलियारे के अंत में बजा रहा हो। और यह तकनीक केवल एक ही दिशा में काम करती थी: यह (कुछ हद तक) हटाएँ केंद्र में, लेकिन यह कभी भी अलग करना सिर्फ़ वोकल। इसके अलावा, यह मोनो रिकॉर्डिंग, स्टीरियो रीवरब वाले वोकल और उन किसी भी चीज़ पर पूरी तरह से विफल रहा, जिन्हें बिल्कुल बीच में मिक्स नहीं किया गया था। फ़ेज़-कैंसलिंग एक मनोरंजन का साधन था, कोई उपयोगी उपकरण नहीं।

स्पेक्ट्रोग्राम का युग: मास्किंग

पहले असली मशीन-लर्निंग सेपरेटर (लगभग 2015-2019) इन पर काम करते थे: स्पेक्ट्रोग्राम: यह एक ऐसा चित्र है जो गीत में प्रत्येक क्षण में प्रबल आवृत्तियों को दर्शाता है। एक तंत्रिका नेटवर्क को उस चित्र को देखकर और एक चित्र बनाने के लिए प्रशिक्षित किया गया था। मास्क इसके ऊपर: “ये पिक्सेल आवाज़ के हैं, और ये ड्रम के।” मिश्रण को मास्क से गुणा करें, वापस ऑडियो में बदलें, हो गया।

यह एक बड़ी छलांग थी: अचानक आप किसी आवाज को अलग कर सकते थे, न कि केवल उसे रद्द कर सकते थे। लेकिन मास्किंग की एक अंतर्निहित सीमा है: जब कोई आवाज और गिटार एक ही जगह पर होते हैं, तो समान इस आवृत्ति पर समान पल में (जो असली संगीत में लगातार होता है), किसी मास्क को वह ऊर्जा किसी न किसी तरह बाँटनी पड़ती है, और नतीजा होती है वह पानी जैसी, पानी के नीचे से आती लहराती आवाज़ जो शुरुआती यूज़र्स को याद है। स्पेक्ट्रोग्राम यह भी फेंक देते हैं: फेज़ जानकारी, जिसे मॉडल फिर ऑडियो में बदलने के दौरान कृत्रिम रूप से उत्पन्न करता है।

आज: हाइब्रिड एआई मॉडल

आधुनिक विभाजक (जिनमें इसके पीछे का इंजन भी शामिल है) StemGrab) एक ही समय में दो दिशाओं से समस्या पर हमला करें (इसलिए "हाइब्रिड")। आप इसे स्टेम एआई, स्टेम सेपरेटर या स्टेम स्प्लिटर कहें, यह दोहरी रणनीति ही काम करती है:

• A वेवफॉर्म शाखा यह सीधे कच्चे ऑडियो नमूनों पर काम करता है, इसलिए स्पेक्ट्रोग्राम रूपांतरण में कुछ भी खोता नहीं है, जिसमें फेज भी शामिल है। यही आधुनिक बास और ड्रम ट्रैक को अधिक प्रभावशाली बनाता है, न कि धुंधला।
• A स्पेक्ट्रल शाखा यह अभी भी आवृत्ति चित्र पर काम करता है, जहाँ हार्मोनिक पैटर्न (आवाज़ की ओवरटोन स्टैक, पियानो कॉर्ड) सबसे आसानी से पहचाने जा सकते हैं।
• एक केंद्रीय AI कोर (आधुनिक लैंग्वेज मॉडल्स वाले परिवार का ही) दोनों शाखाओं के ऊपर बैठता है और गाने के लंबे हिस्सों को एक साथ देखता है। यह संदर्भ मायने रखता है: अगर मॉडल ने इंट्रो में कोई खुला वोकल सुना है, तो वह उसी जानकारी से भरे-पूरे आख़िरी कोरस में से वही आवाज़ निकाल लेता है।

यह कैसे समझ पाता है कि "वोकल" क्या होता है? प्रशिक्षण। मॉडल ने उन हज़ारों गानों से सीखा जहाँ असली अलग किए गए स्टेम्स (stems) उपलब्ध थे, उन्हें एक साथ मिलाया और खुद को इस आधार पर ग्रेड दिया कि उसने प्रत्येक हिस्से को कितनी अच्छी तरह रिकवर किया। पर्याप्त अभ्यास के बाद, उसने यह आंतरिक रूप से समझ लिया है कि आवाज़ें, किक्स, स्नेयर्स और बेस लाइन्स कैसी सुनाई देती हैं, इतनी अच्छी तरह से कि वह उन मिक्स से उनका अनुमान लगा सके जिन्हें उसने पहले कभी नहीं सुना। यह अन्य कार्यों के लिए AI टूल्स का उपयोग करने पर कोई सामान्य ट्यूटोरियल नहीं है: यह विशेष रूप से इस बारे में है कि कैसे इस एक मॉडल ने एक सिंगल मिक्स फाइल से आवाज़, किक ड्रम और बेसलाइन को पुनर्निर्मित करना सीखा। वह प्रशिक्षण एक AI स्टेम सेपरेटर और ऊपर दी गई फेज ट्रिक के बीच का अंतर है: इसने यह सीखा है कि आवाज़ कैसी सुनाई देती है, बजाय इसके कि यह मान लिया जाए कि आवाज़ केंद्र में है।

छह स्टेम मौजूदा सीमा क्यों है

पारंपरिक विभाजन में चार भाग होते हैं: गायन, ड्रम, बास, अन्य, क्योंकि मानक शोध डेटासेट (MUSDB18) को इसी तरह लेबल किया गया है, और मॉडल केवल वही श्रेणियाँ सीख सकते हैं जिनके नाम उनके प्रशिक्षण डेटा में हैं। StemGrab द्वारा चलाए जाने वाले जैसे छह-स्टेम मॉडल इनमें जोड़ते हैं गिटार और पियानो,“अन्य” से अलग करके बनाया गया।

इससे आगे जाना (लीड वोकल को उसके पीछे की हार्मनी से अलग करना, गिटारों को अलग करना, सिंथ को अलग निकालना) ज़्यादातर मॉडलिंग की समस्या नहीं है, यह एक डेटा समस्या। उदाहरण के लिए, लेबल किए गए टैम्बोरिन स्टेम वाले गानों का कोई बड़ा सार्वजनिक संग्रह नहीं है। जब तक वह डेटा मौजूद नहीं होता, "बाकी सब कुछ" एक साथ चिपका रहता है, इसमें: अन्य ट्रैक।

गिटार और पियानो वोकल, ड्रम और बास से पीछे क्यों पड़ते हैं

ये सरल कार्य इसलिए आसान हैं क्योंकि प्रत्येक एक विशिष्ट क्षेत्र में काम करता है:

• गायन इनमें एक अंगूठा छाप होती है जो किसी और में नहीं होती: फॉर्मैंट्स, विब्रैटो, सांस, व्यंजन। मानव वाणी ऑडियो अनुसंधान में सबसे अधिक अध्ययन की गई ध्वनि भी है।
• ड्रम ये क्षणिक ध्वनियाँ हैं: थोड़े समय तक चलने वाली, विस्तृत आवृत्ति वाली ध्वनियाँ, जिनमें तीव्र शुरुआत होती है और जो लयबद्ध रूप से अनुमानित होती हैं। मिश्रण में कोई अन्य ध्वनि स्नैयर ड्रम की ध्वनि जैसी नहीं होती।
• बास लगभग 120 हर्ट्ज़ से नीचे की आवृत्ति रेंज में, यह उपकरण लगभग अकेले ही सबसे निचले सप्तक पर नियंत्रण रखता है।

गिटार और पियानो, दोनों ही रंग बदलने वाले गिरगिट की तरह हैं। ये दोनों लगभग पूरी आवृत्ति श्रृंखला को कवर करते हैं, दोनों में कॉर्ड और धुनें बजाई जा सकती हैं, और इनके बीच काफी समानता है: एक-दूसरे के साथ, सिंथ पैड के साथ, तारों के साथ, और ऑर्गन के साथ। एक साफ़ पियानो और एक मधुर पैड एक ही कॉर्ड बजाते हैं, तो यह वास्तव में मानवीय कानों के लिए भी अस्पष्ट हो सकता है। यदि आप गिटार में विकृति जोड़ते हैं, तो यह एक विस्तृत बैंड शोर में बदल जाता है, जिससे इसे सिंथ से भ्रमित करना आसान हो जाता है। और इन दो श्रेणियों के लिए प्रशिक्षण डेटा, वोकल्स के लिए उपलब्ध डेटा का एक छोटा सा हिस्सा है। परिणाम: एक साधारण गायक-गीतकार ट्रैक पर, गिटार की ध्वनि बहुत अच्छी आ सकती है; लेकिन एक जटिल और भारी ध्वनि मिश्रण में, इसमें शोर और अस्पष्टता की संभावना है।

अभी भी क्या गलत होता है

• रीवर्ब और इको अस्पष्ट रहते हैं। किसी गायन की प्रतिध्वनि एक प्रकार का "गायन-आधारित परिवेशीय ध्वनि" होती है, और इसका कुछ हिस्सा गायन ट्रैक में और कुछ हिस्सा वाद्य यंत्रों के ट्रैक में समाहित होता है। वर्तमान में कोई भी मॉडल इसे पूरी तरह से अलग नहीं कर पाता।
• घने मिश्रण से गुणवत्ता में कमी आ सकती है। मेटल, ऑर्केस्ट्रल पॉप और जटिल लेयर वाले ईडीएम संगीत के कारण मॉडल को प्रति सेकंड अधिक कठिन निर्णय लेने पड़ते हैं: परिणामस्वरूप, त्रुटियाँ भी बढ़ जाती हैं।
• लो-फ़ाई स्रोत कठिन होते हैं। टेप hiss, vinyl crackle, mono recordings और low-bitrate rips model को काम करने के लिए कम चीज़ देते हैं। 128 kbps MP3 में वे details पहले ही फेंक दिए गए होते हैं जिन्हें separator बड़े मन से इस्तेमाल करता।
• विभिन्न श्रेणियों के बीच की ध्वनियाँ इसे भ्रमित करती हैं। अत्यधिक वोकोडेड या ऑटो-ट्यून किए गए गायन आंशिक रूप से "अन्य" श्रेणी में आ सकते हैं; एक 808 जो एक साथ किक और बासलाइन दोनों के रूप में काम करता है, उसे ड्रम और बास श्रेणियों में विभाजित किया जाएगा।

इसका मतलब यह नहीं है कि तकनीक खराब है: एक आधुनिक मिक्स में वोकल्स, ड्रम्स और बास पहले की तुलना में कहीं अधिक स्पष्ट रूप से उभर कर आते हैं, जितना 2018 में किसी ने संभव माना होगा। इसका मतलब यह है कि सही दावा यह है कि यह “बेहद अच्छा अनुमान” है, न कि कोई “जादू”।

इसे अपने पसंदीदा संगीत पर सुनें।

अपनी अपेक्षाएँ सही करने का सबसे तेज़ तरीका है ऐसा ट्रैक चलाना जिसे आप अच्छी तरह जानते हों। StemGrab में कोई गाना अपलोड करें।: लगभग एक मिनट में आपको वोकल्स, ड्रम्स, बेस, गिटार, पियानो, अन्य और एक साफ़ इंस्ट्रुमेंटल वापस मिल जाएँगे, मुफ़्त, बिना अकाउंट। फिर हेडफ़ोन लगाइए और सुनिए कि मॉडल ने क्या सही किया, और कहाँ अंदाज़ा लगाया। आख़िर में हर स्टेम सेपरेशन सॉफ़्टवेयर का सार यही है, मॉडल का सबसे अच्छा अनुमान, जिसे आप अपने कानों से जाँचते हैं।

किसी ट्रैक को मुफ़्त में विभाजित करें →

StemGrab से अधिक: स्टेम के साथ किसी भी साधन का अभ्यास · आप कानूनी रूप से 'स्टेम' के साथ क्या-क्या कर सकते हैं।