Katılımcılar diller arasında geçiş yaptığında yapay zekâ bir toplantıyı yazıya dökebilir mi?

Pek çok toplantı tek bir dilde geçmez. Beyrut'taki bir ürün ekibi aynı cümlede Arapça, Fransızca ve İngilizce arasında gidip gelebilir. Bir satış görüşmesi İspanyolca başlayıp İngilizce bitebilir. Bir aile şirketi baştan sona Hintçe ile İngilizceyi karıştırabilir. Yapay zekâ yine de kullanılabilir bir döküm çıkarabilir mi?

Kısa cevap: çoğu zaman evet, ancak sonuç büyük ölçüde konuşma tanıma sisteminin nasıl yapılandırıldığına bağlıdır. Bazı sistemler kaydın tamamı için tek bir ana dil algılar. Diğerleri dil değişimlerini kelime kelime takip edecek şekilde tasarlanmıştır. Hangisini kullandığınızı bilmek, herhangi bir pazarlama vaadinden daha önemlidir.

Kod değiştirme konuşma tanıma için ne anlama gelir?

Aynı konuşma içinde diller arasında geçiş yapmaya kod değiştirme (code-switching) denir. Araştırmacılar genellikle iki türü birbirinden ayırır:

• Cümleler arasında: biri cümlesini İngilizce bitirir ve sonraki cümle Fransızcadır.
• Bir cümlenin içinde: "Cumadan önce facture lazım, yalla, bunu kapatalım."

Uçtan uca konuşma tanıma araştırmalarına dair yakın tarihli sistematik bir literatür taraması, cümle içindeki geçişin konuşma sistemleri için en zor durum olduğunu ve çalışmaların çoğunun buna odaklandığını belirtir. Model, iki dilin seslerini, kelime dağarcığını ve dil bilgisini aynı anda tanımak zorundadır; üstelik bu diller çoğu zaman üçüncü bir dilin etkisindeki bir aksanla konuşulur.

Dil algılama, her geçişi takip etmekle aynı şey değildir

Sağlayıcıların sunduğu iki özellik sık sık birbirine karıştırılır.

Otomatik dil algılama, bir kayıttaki baskın dili belirler ve sesi o dilde yazıya döker. Deepgram belgeleri detect_language özelliğini şöyle tanımlar: önceden kaydedilmiş seste çalışır ve her ses kanalı için algılanan tek bir dil döndürür. Her kayıt büyük ölçüde önceden belirtmediğiniz tek bir dildeyse mükemmeldir, ancak aynı kanal içindeki birden fazla dili bildirmek için tasarlanmamıştır.

Kod değiştirmeli çok dilli mod farklıdır. Deepgram Nova-3'te language=multi ayarı, dil değiştiğinde yazıya dökmeye devam eden ve her kelimeyi bir dil koduyla etiketleyen çok dilli bir model kullanır. Önceden kaydedilmiş ve canlı akış sesinde çalışır; isteğe bağlı dil ipuçları da modeli beklediğiniz dillere yönlendirebilir.

Bir araç yalnızca tek bir dil algılıyorsa, %70 İngilizce ve %30 Arapça geçen bir toplantı genellikle İngilizce olarak yazıya dökülür ve Arapça bölümler hatalı, yaklaşık ya da eksik çıkabilir.

ClearScribe bugün ne yapıyor?

ClearScribe'ın web platformu Deepgram Nova-3'ü kullanır, ancak bunu özelliğe göre farklı şekillerde yapar. Aşağıda sağlayıcının teorik olarak yapabileceği her şey değil, mevcut uygulama anlatılmaktadır.

Kaydedilen ve yüklenen toplantılar. ClearScribe toplantı sesini işlerken otomatik dil algılama, konuşmacı ayrıştırma ve ifadelere bölme ister. Döküm, kayıt için algılanan tek bir dili saklar. Bu yöntem en iyi, bir dil açıkça baskın olduğunda çalışır. ClearScribe şu anda kaydedilmiş bir toplantı dökümündeki her dil geçişini etiketlemez; bu nedenle her geçişin otomatik ve güvenilir biçimde tanınmasını beklemeyin.

Canlı Altyazılar. ClearScribe Canlı Altyazılar, Deepgram Nova-3'ün çok dilli modunu kullanan ve kod değiştirmeye uygun, daha kısa bir konuşma sonu algılamasıyla çalışan Çok dilli seçeneğini içerir. ClearScribe'ın mevcut yapılandırması bu seçenek için on dil listeler: İngilizce, İspanyolca, Fransızca, Almanca, Hintçe, Rusça, Portekizce, Japonca, İtalyanca ve Felemenkçe. Toplantınızda yalnızca bir dil kullanılıyorsa, genellikle doğrudan o dili seçmek daha iyidir.

Dökümden sonra. Dökümleri çevirebilir ve birden fazla dilde çalışabilir, konuşmacıları yeniden adlandırabilir, konuşmacı atamalarını düzeltebilir ve özetler ile yapılacak işler oluşturabilirsiniz. Desteklenen dillerin tam listesi için ClearScribe küresel dil desteği sayfasına bakın.

Çok dilli toplantılarda konuşmacı ayrıştırma

Konuşmacı ayrıştırma "kim ne zaman konuştu" sorusunu yanıtlar, "hangi dil konuşuldu" sorusunu değil. Deepgram'ın ayrıştırması her kelimeye bir konuşmacı numarası atar ve ClearScribe bu numaraları Konuşmacı 1 ve Konuşmacı 2 gibi numaralı etiketlere dönüştürür. Deepgram, ayrıştırmasını dilden bağımsız olarak tanımlar; dolayısıyla ilke olarak dil değiştiren bir kişi aynı etiketi korur.

Uygulamada, üst üste binen konuşmalar, çok kısa araya girmeler, birbirine benzeyen sesler ve uzaktaki mikrofonlar ayrıştırma hatalarını artırır. Toplantıdan sonra konuşmacı etiketlerini gözden geçirip yeniden adlandırmayı planlayın.

Doğruluk ne zaman düşer?

Şu durumlarda daha zayıf sonuçlar bekleyin:

• Kişiler kısa bir cümle içinde birkaç kez dil değiştirdiğinde.
• İsimler, ürün terimleri ve kısaltmalar başka bir dilin dil bilgisine karıştırıldığında.
• Bir dil veya lehçe, seçilen mod için sağlayıcının desteklenenler listesinin dışında kaldığında.
• Birkaç kişi aynı anda konuştuğunda ya da odada yankı ve arka plan gürültüsü olduğunda.
• Büyük bölümü ikinci bir dilde olan bir kayıt, tek dil algılamasıyla işlendiğinde.
• Arapçanın günlük konuşma çeşitleri gibi güçlü bölgesel lehçeler, eğitim verilerinden farklı olduğunda.

Bir döküm akıcı görünüp yine de yanlış olabilir. Konuşma modelleri bazen yabancı bir kelimeyi ana dildeki benzer sesli bir kelimeye dönüştürür.

Çok dilli toplantılar için pratik bir iş akışı

1. Ana dili belirleyin. Bir dil baskınsa planınızı ona göre yapın ve mevcut olduğunda tek dilli ayarları kullanın.
2. Çok dilli modu bilinçli kullanın. Desteklenen dilleri gerçekten karıştıran canlı oturumlarda Canlı Altyazılar'daki Çok dilli seçeneğini seçin.
3. Sesi iyileştirin. İyi bir mikrofon kullanın, yan konuşmaları azaltın ve katılımcılardan birbirlerinin sözünü kesmemelerini isteyin.
4. Konuşmacıları tanıtın. Başta kısa bir isim turu, konuşmacıların gözden geçirilmesini kolaylaştırır.
5. Paylaşmadan önce gözden geçirin. Dil geçişi olan bölümleri, isimleri ve sayıları kontrol edin; ardından konuşmacıları yeniden adlandırıp bölümleri düzeltin.
6. Gözden geçirdikten sonra çevirin. Düzeltilmiş bir dökümü çevirmek, ham hataları çevirmekten daha iyi sonuç verir.

Güvenmeden önce nasıl test edilir?

Bir demoya güvenmek yerine kendi toplantılarınızla küçük ve dürüst bir test yapın:

1. Her zamanki katılımcılarınız, mikrofonlarınız ve dil karışımınızla gerçekçi bir toplantının on ila on beş dakikasını kaydedin.
2. Sık dil geçişi içeren iki veya üç dakikalık bölüm için özenli bir referans döküm yazın.
3. Yapay zekâ dökümünü referansınızla karşılaştırın. Eksik kelimeleri, yanlış kelimeleri ve yanlış dilde yazılan geçişli bölümleri sayın.
4. Konuşmacı etiketlerini kelimelerden ayrı olarak kontrol edin.
5. Testi tek dilli bir ayarla ve uygun olduğunda Canlı Altyazılar'ın Çok dilli seçeneğiyle tekrarlayın.
6. Ses düzeniniz veya dil karışımınız her değiştiğinde yeniden test edin.

Hatalar isim ve terimlerde yoğunlaşıyorsa gözden geçirme çabası az olur. İkinci dildeki bölümlerin tamamı eksikse, o yapılandırma bu toplantıya uygun değildir.

Sağlayıcı yeteneği ile ClearScribe özelliği

Sonuç

Yapay zekâ çok dilli toplantıları yazıya dökebilir ve çok dilli modeller hızla gelişiyor. Asıl soru, bir ürünün yalnızca tek bir baskın dili mi algıladığı yoksa geçişleri gerçekten mi takip ettiğidir. Bugün ClearScribe, listelenen diller için Canlı Altyazılar'ın Çok dilli seçeneğinde geçişleri takip ederken, kaydedilen toplantılarda konuşmacı ayrıştırmayla birlikte baskın dil algılamasını kullanır. Kendi sesinizle test edin, dökümü gözden geçirin ve ekibinizin gerçekte nasıl konuştuğuna uyan modu seçin.

Kaynaklar

• Deepgram belgeleri: Multilingual Code Switching
• Deepgram belgeleri: Language Detection
• Deepgram belgeleri: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. ve diğerleri: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741