जब लोग बीच-बीच में भाषा बदलते हैं, तो क्या AI किसी मीटिंग का ट्रांसक्रिप्ट बना सकता है?

बहुत-सी मीटिंग एक ही भाषा में नहीं होतीं। बेरूत की एक प्रोडक्ट टीम एक ही वाक्य में अरबी, फ़्रेंच और अंग्रेज़ी के बीच आ-जा सकती है। कोई सेल्स कॉल स्पेनिश में शुरू होकर अंग्रेज़ी में ख़त्म हो सकती है। कोई पारिवारिक कारोबार पूरी बातचीत में हिंदी और अंग्रेज़ी मिलाकर बोल सकता है। क्या AI तब भी काम लायक़ ट्रांसक्रिप्ट बना सकता है?

छोटा जवाब: अक्सर हाँ, लेकिन नतीजा काफ़ी हद तक इस पर निर्भर करता है कि स्पीच रिकग्निशन सिस्टम कैसे कॉन्फ़िगर किया गया है। कुछ सिस्टम पूरी रिकॉर्डिंग के लिए एक ही मुख्य भाषा पहचानते हैं। कुछ दूसरे सिस्टम शब्द-दर-शब्द भाषा बदलने को फ़ॉलो करने के लिए बनाए गए हैं। आप कौन-सा सिस्टम इस्तेमाल कर रहे हैं, यह जानना किसी भी मार्केटिंग दावे से ज़्यादा अहम है।

स्पीच रिकग्निशन के लिए कोड-स्विचिंग का मतलब

एक ही बातचीत में एक भाषा से दूसरी भाषा पर जाने को कोड-स्विचिंग (code-switching) कहते हैं। शोधकर्ता आम तौर पर इसके दो प्रकार मानते हैं:

• वाक्यों के बीच: कोई व्यक्ति अंग्रेज़ी में वाक्य पूरा करता है, और अगला वाक्य फ़्रेंच में होता है।
• एक ही वाक्य के अंदर: "शुक्रवार से पहले facture चाहिए, yalla, इसे क्लोज़ करते हैं।"

एंड-टू-एंड स्पीच रिकग्निशन पर हुए शोध की हाल की एक व्यवस्थित समीक्षा बताती है कि वाक्य के अंदर भाषा बदलना स्पीच सिस्टम के लिए सबसे कठिन स्थिति है, और ज़्यादातर अध्ययन इसी पर केंद्रित हैं। मॉडल को एक ही पल में दो भाषाओं की ध्वनियाँ, शब्दावली और व्याकरण पहचानने होते हैं, और अक्सर इन्हें किसी तीसरी भाषा से प्रभावित लहजे में बोला जाता है।

भाषा पहचानना हर बदलाव को फ़ॉलो करने जैसा नहीं है

प्रोवाइडर की दो सुविधाओं को अक्सर एक-दूसरे से मिला दिया जाता है।

ऑटोमैटिक भाषा पहचान किसी रिकॉर्डिंग की प्रमुख भाषा पहचानती है और ऑडियो को उसी भाषा में ट्रांसक्राइब करती है। Deepgram का डॉक्यूमेंटेशन detect_language को इस तरह बताता है: यह पहले से रिकॉर्ड किए गए ऑडियो पर काम करता है और हर ऑडियो चैनल के लिए एक पहचानी गई भाषा लौटाता है। जब हर रिकॉर्डिंग ज़्यादातर एक ऐसी भाषा में हो जिसे आपने पहले से नहीं बताया, तब यह बेहतरीन है, लेकिन यह एक ही चैनल के अंदर कई भाषाओं की जानकारी देने के लिए नहीं बना है।

कोड-स्विचिंग वाला बहुभाषी मोड अलग है। Deepgram Nova-3 में language=multi सेटिंग एक बहुभाषी मॉडल का इस्तेमाल करती है, जो भाषा बदलने पर भी ट्रांसक्राइब करता रहता है और हर शब्द पर भाषा कोड लगाता है। यह रिकॉर्डेड और स्ट्रीमिंग, दोनों तरह के ऑडियो पर काम करता है, और वैकल्पिक भाषा संकेत मॉडल को उन भाषाओं की ओर झुका सकते हैं जिनकी आपको उम्मीद है।

अगर कोई टूल सिर्फ़ एक भाषा पहचानता है, तो 70% अंग्रेज़ी और 30% अरबी वाली मीटिंग आम तौर पर अंग्रेज़ी के रूप में ट्रांसक्राइब होगी, और अरबी वाले हिस्से ग़लत, अंदाज़न या पूरी तरह ग़ायब हो सकते हैं।

ClearScribe आज क्या करता है

ClearScribe का वेब प्लेटफ़ॉर्म Deepgram Nova-3 का इस्तेमाल करता है, लेकिन फ़ीचर के हिसाब से अलग-अलग तरीक़ों से। यहाँ मौजूदा इम्प्लीमेंटेशन बताया गया है, न कि वह सब कुछ जो प्रोवाइडर सैद्धांतिक रूप से कर सकता है।

रिकॉर्ड और अपलोड की गई मीटिंग। जब ClearScribe मीटिंग का ऑडियो प्रोसेस करता है, तो वह ऑटोमैटिक भाषा पहचान, स्पीकर डायराइज़ेशन और कथनों में बँटवारे का अनुरोध करता है। ट्रांसक्रिप्ट में रिकॉर्डिंग के लिए एक पहचानी गई भाषा सेव होती है। यह तब सबसे अच्छा काम करता है जब एक भाषा साफ़ तौर पर हावी हो। ClearScribe अभी रिकॉर्ड की गई मीटिंग के ट्रांसक्रिप्ट में हर भाषा बदलाव को लेबल नहीं करता, इसलिए यह उम्मीद न रखें कि हर बदलाव अपने-आप और भरोसेमंद तरीक़े से पहचाना जाएगा।

लाइव कैप्शन। ClearScribe लाइव कैप्शन में बहुभाषी विकल्प है, जो Deepgram Nova-3 के बहुभाषी मोड का इस्तेमाल करता है, और इसमें बोलने के अंत की पहचान छोटी रखी गई है, जो कोड-स्विचिंग के लिए उपयुक्त है। ClearScribe का मौजूदा कॉन्फ़िगरेशन इस विकल्प के लिए दस भाषाएँ बताता है: अंग्रेज़ी, स्पेनिश, फ़्रेंच, जर्मन, हिंदी, रूसी, पुर्तगाली, जापानी, इतालवी और डच। अगर आपकी मीटिंग में सिर्फ़ एक भाषा इस्तेमाल होती है, तो आम तौर पर उसी भाषा को सीधे चुनना बेहतर रहता है।

ट्रांसक्रिप्ट के बाद। आप ट्रांसक्रिप्ट का अनुवाद कर सकते हैं और कई भाषाओं में काम कर सकते हैं, स्पीकर के नाम बदल सकते हैं, स्पीकर असाइनमेंट सुधार सकते हैं और सारांश व एक्शन आइटम बना सकते हैं। सपोर्ट की जाने वाली भाषाओं की पूरी सूची के लिए ClearScribe की वैश्विक भाषा सहायता देखें।

बहुभाषी मीटिंग में स्पीकर डायराइज़ेशन

स्पीकर डायराइज़ेशन इस सवाल का जवाब देता है कि "किसने कब बोला", न कि "कौन-सी भाषा बोली गई"। Deepgram का डायराइज़ेशन हर शब्द को एक स्पीकर नंबर देता है, और ClearScribe इन नंबरों को स्पीकर 1 और स्पीकर 2 जैसे क्रमांकित लेबल में बदलता है। Deepgram अपने डायराइज़ेशन को भाषा से स्वतंत्र बताता है, इसलिए सिद्धांत रूप में भाषा बदलने वाला व्यक्ति वही लेबल बनाए रखता है।

व्यवहार में, एक-साथ बोलने, बहुत छोटी टिप्पणियों, मिलती-जुलती आवाज़ों और दूर रखे माइक्रोफ़ोन से डायराइज़ेशन की ग़लतियाँ बढ़ जाती हैं। मीटिंग के बाद स्पीकर लेबल जाँचने और उनके नाम बदलने की योजना रखें।

सटीकता कब घटती है

इन स्थितियों में कमज़ोर नतीजों की उम्मीद रखें:

• लोग एक छोटे वाक्य में कई बार भाषा बदलते हैं।
• नाम, प्रोडक्ट से जुड़े शब्द और संक्षिप्त रूप किसी दूसरी भाषा के व्याकरण में मिलाए जाते हैं।
• कोई भाषा या बोली चुने गए मोड के लिए प्रोवाइडर की सपोर्ट सूची से बाहर हो।
• कई लोग एक साथ बोलें, या कमरे में गूँज और पृष्ठभूमि का शोर हो।
• किसी रिकॉर्डिंग को एक-भाषा पहचान के साथ प्रोसेस किया जाए, जबकि उसका बड़ा हिस्सा दूसरी भाषा में हो।
• मज़बूत क्षेत्रीय बोलियाँ, जैसे अरबी की बोलचाल वाली किस्में, ट्रेनिंग डेटा से अलग हों।

कोई ट्रांसक्रिप्ट धाराप्रवाह दिख सकता है और फिर भी ग़लत हो सकता है। स्पीच मॉडल कभी-कभी किसी विदेशी शब्द को मुख्य भाषा के मिलते-जुलते सुनाई देने वाले शब्द में बदल देते हैं।

बहुभाषी मीटिंग के लिए एक व्यावहारिक वर्कफ़्लो

1. मुख्य भाषा तय करें। अगर एक भाषा हावी है, तो उसी के हिसाब से योजना बनाएँ और जहाँ उपलब्ध हो, एक-भाषा सेटिंग इस्तेमाल करें।
2. बहुभाषी मोड सोच-समझकर इस्तेमाल करें। जिन लाइव सेशन में सच में सपोर्ट की जाने वाली भाषाएँ मिलती हैं, उनके लिए लाइव कैप्शन में बहुभाषी विकल्प चुनें।
3. ऑडियो बेहतर करें। अच्छा माइक्रोफ़ोन इस्तेमाल करें, आपसी अलग बातचीत कम करें और प्रतिभागियों से कहें कि वे एक-दूसरे के ऊपर न बोलें।
4. स्पीकर का परिचय कराएँ। शुरुआत में नामों का एक छोटा राउंड स्पीकर की जाँच आसान बनाता है।
5. शेयर करने से पहले जाँचें। भाषा बदलने वाले हिस्से, नाम और संख्याएँ जाँचें, फिर स्पीकर के नाम बदलें और हिस्सों को सुधारें।
6. जाँच के बाद अनुवाद करें। सुधरे हुए ट्रांसक्रिप्ट का अनुवाद, बिना सुधारी ग़लतियों के अनुवाद से बेहतर नतीजे देता है।

भरोसा करने से पहले टेस्ट कैसे करें

किसी डेमो पर भरोसा करने के बजाय अपनी ही मीटिंग के साथ एक छोटा, ईमानदार टेस्ट करें:

1. अपने सामान्य प्रतिभागियों, माइक्रोफ़ोन और भाषाओं के मेल के साथ किसी असली जैसी मीटिंग के दस से पंद्रह मिनट रिकॉर्ड करें।
2. ऐसे दो या तीन मिनट का सावधानी से एक संदर्भ ट्रांसक्रिप्ट लिखें, जिनमें बार-बार भाषा बदलती हो।
3. AI ट्रांसक्रिप्ट की तुलना अपने संदर्भ से करें। छूटे हुए शब्द, ग़लत शब्द और भाषा बदलने वाले वे हिस्से गिनें जो ग़लत भाषा में लिखे गए।
4. स्पीकर लेबल को शब्दों से अलग जाँचें।
5. टेस्ट को एक-भाषा सेटिंग के साथ और, जहाँ लागू हो, लाइव कैप्शन के बहुभाषी विकल्प के साथ दोहराएँ।
6. जब भी आपका ऑडियो सेटअप या भाषाओं का मेल बदले, फिर से टेस्ट करें।

अगर ग़लतियाँ ज़्यादातर नामों और शब्दों में हैं, तो जाँच का काम कम रहेगा। अगर दूसरी भाषा के पूरे-पूरे हिस्से ग़ायब हैं, तो वह कॉन्फ़िगरेशन उस मीटिंग के लिए सही नहीं है।

प्रोवाइडर की क्षमता बनाम ClearScribe की सुविधा

निष्कर्ष

AI बहुभाषी मीटिंग का ट्रांसक्रिप्ट बना सकता है, और बहुभाषी मॉडल तेज़ी से बेहतर हो रहे हैं। असली सवाल यह है कि कोई प्रोडक्ट सिर्फ़ एक प्रमुख भाषा पहचानता है या सच में भाषा बदलने को फ़ॉलो करता है। आज ClearScribe सूचीबद्ध भाषाओं के लिए लाइव कैप्शन के बहुभाषी विकल्प में भाषा बदलने को फ़ॉलो करता है, जबकि रिकॉर्ड की गई मीटिंग में स्पीकर डायराइज़ेशन के साथ प्रमुख भाषा की पहचान इस्तेमाल होती है। अपने ऑडियो से टेस्ट करें, ट्रांसक्रिप्ट जाँचें और वह मोड चुनें जो आपकी टीम के असल बोलने के तरीक़े से मेल खाता हो।

स्रोत

• Deepgram डॉक्यूमेंटेशन: Multilingual Code Switching
• Deepgram डॉक्यूमेंटेशन: Language Detection
• Deepgram डॉक्यूमेंटेशन: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. और अन्य: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741