Bisakah AI Mentranskripsikan Rapat Saat Peserta Berganti-ganti Bahasa?

Banyak rapat tidak berlangsung dalam satu bahasa. Tim produk di Beirut bisa berpindah antara bahasa Arab, Prancis, dan Inggris dalam satu kalimat. Panggilan penjualan bisa dimulai dalam bahasa Spanyol dan berakhir dalam bahasa Inggris. Bisnis keluarga bisa mencampur bahasa Hindi dan Inggris sepanjang waktu. Apakah AI tetap bisa menghasilkan transkrip yang berguna?

Jawaban singkat: sering kali bisa, tetapi hasilnya sangat bergantung pada cara sistem pengenalan ucapan dikonfigurasi. Sebagian sistem mendeteksi satu bahasa utama untuk seluruh rekaman. Sebagian lainnya dirancang untuk mengikuti pergantian bahasa kata demi kata. Mengetahui sistem mana yang Anda gunakan lebih penting daripada klaim pemasaran apa pun.

Arti alih kode bagi pengenalan ucapan

Berpindah antarbahasa dalam percakapan yang sama disebut alih kode (code-switching). Para peneliti biasanya membedakan dua jenis:

• Antarkalimat: seseorang menyelesaikan kalimat dalam bahasa Inggris, lalu kalimat berikutnya dalam bahasa Prancis.
• Di dalam kalimat: "Kita perlu facture-nya sebelum Jumat, yalla, ayo kita selesaikan."

Sebuah tinjauan pustaka sistematis terbaru tentang riset pengenalan ucapan end-to-end mencatat bahwa pergantian di dalam kalimat adalah kasus tersulit bagi sistem ucapan, dan menjadi fokus sebagian besar studi. Model harus mengenali bunyi, kosakata, dan tata bahasa dari dua bahasa pada saat yang sama, sering kali diucapkan dengan aksen yang dipengaruhi bahasa ketiga.

Deteksi bahasa tidak sama dengan mengikuti setiap pergantian

Ada dua fitur penyedia layanan yang sering tertukar.

Deteksi bahasa otomatis mengidentifikasi bahasa yang dominan dalam sebuah rekaman dan mentranskripsikan audio dalam bahasa tersebut. Dokumentasi Deepgram menjelaskan detect_language seperti ini: fitur ini bekerja pada audio yang sudah direkam dan mengembalikan satu bahasa terdeteksi untuk setiap kanal audio. Fitur ini sangat baik jika setiap rekaman sebagian besar menggunakan satu bahasa yang tidak Anda tentukan sebelumnya, tetapi tidak dirancang untuk melaporkan beberapa bahasa di dalam satu kanal.

Mode multibahasa dengan alih kode berbeda. Di Deepgram Nova-3, pengaturan language=multi menggunakan model multibahasa yang terus mentranskripsikan saat bahasa berganti dan menandai setiap kata dengan kode bahasa. Mode ini bekerja untuk audio rekaman maupun streaming, dan petunjuk bahasa opsional dapat mengarahkan model ke bahasa yang Anda perkirakan.

Jika sebuah alat hanya mendeteksi satu bahasa, rapat yang terdiri dari 70% bahasa Inggris dan 30% bahasa Arab biasanya akan ditranskripsikan sebagai bahasa Inggris, dan bagian berbahasa Arab bisa menjadi tidak akurat, hanya perkiraan, atau hilang.

Apa yang dilakukan ClearScribe saat ini

Platform web ClearScribe menggunakan Deepgram Nova-3, tetapi dengan cara yang berbeda tergantung fiturnya. Berikut implementasi saat ini, bukan semua hal yang secara teori bisa dilakukan penyedia.

Rapat yang direkam dan diunggah. Saat ClearScribe memproses audio rapat, ClearScribe meminta deteksi bahasa otomatis, diarisasi pembicara, dan pembagian ujaran. Transkrip menyimpan satu bahasa terdeteksi untuk rekaman tersebut. Cara ini paling baik jika satu bahasa jelas mendominasi. Saat ini ClearScribe tidak menandai setiap pergantian bahasa di dalam transkrip rapat yang direkam, jadi jangan berharap setiap pergantian dikenali secara otomatis dan andal.

Teks Langsung. Teks Langsung ClearScribe menyediakan opsi Multibahasa yang menggunakan mode multibahasa Deepgram Nova-3, dengan deteksi akhir ucapan yang lebih singkat dan cocok untuk alih kode. Konfigurasi ClearScribe saat ini mencantumkan sepuluh bahasa untuk opsi ini: Inggris, Spanyol, Prancis, Jerman, Hindi, Rusia, Portugis, Jepang, Italia, dan Belanda. Jika rapat Anda hanya menggunakan satu bahasa, biasanya lebih baik memilih bahasa tersebut secara langsung.

Setelah transkrip jadi. Anda dapat menerjemahkan transkrip dan bekerja lintas bahasa, mengganti nama pembicara, memperbaiki penetapan pembicara, dan membuat ringkasan serta daftar tindak lanjut. Untuk daftar lengkap bahasa yang didukung, lihat dukungan bahasa global ClearScribe.

Diarisasi pembicara dalam rapat multibahasa

Diarisasi pembicara menjawab "siapa berbicara kapan", bukan "bahasa apa yang digunakan". Diarisasi Deepgram memberikan nomor pembicara untuk setiap kata, lalu ClearScribe mengubah nomor tersebut menjadi label bernomor seperti Pembicara 1 dan Pembicara 2. Deepgram menyebut diarisasinya tidak bergantung pada bahasa, sehingga pada prinsipnya orang yang berganti bahasa tetap mendapat label yang sama.

Dalam praktiknya, kesalahan diarisasi meningkat saat ada ucapan yang tumpang tindih, sela yang sangat singkat, suara yang mirip, dan mikrofon yang jauh. Rencanakan untuk memeriksa label pembicara dan mengganti namanya setelah rapat.

Kapan akurasi menurun

Perkirakan hasil yang lebih lemah ketika:

• Peserta berganti bahasa beberapa kali dalam satu kalimat pendek.
• Nama, istilah produk, dan akronim dicampurkan ke dalam tata bahasa bahasa lain.
• Suatu bahasa atau dialek berada di luar daftar yang didukung penyedia untuk mode yang dipilih.
• Beberapa orang berbicara bersamaan, atau ruangan bergema dan bising.
• Rekaman diproses dengan deteksi satu bahasa padahal sebagian besar isinya dalam bahasa kedua.
• Dialek daerah yang kuat, seperti ragam bahasa Arab sehari-hari, berbeda dari data pelatihan.

Transkrip bisa terlihat lancar tetapi tetap salah. Model ucapan terkadang mengubah kata asing menjadi kata berbunyi mirip dari bahasa utama.

Alur kerja praktis untuk rapat multibahasa

1. Tentukan bahasa utama. Jika satu bahasa mendominasi, rencanakan berdasarkan bahasa itu dan gunakan pengaturan satu bahasa bila tersedia.
2. Gunakan mode multibahasa secara sengaja. Untuk sesi langsung yang benar-benar mencampur bahasa yang didukung, pilih opsi Multibahasa di Teks Langsung.
3. Perbaiki kualitas audio. Gunakan mikrofon yang baik, kurangi obrolan sampingan, dan minta peserta tidak berbicara bersamaan.
4. Perkenalkan para pembicara. Putaran singkat menyebutkan nama di awal memudahkan pemeriksaan pembicara.
5. Periksa sebelum dibagikan. Cek bagian yang berganti bahasa, nama, dan angka, lalu ganti nama pembicara dan perbaiki segmennya.
6. Terjemahkan setelah diperiksa. Menerjemahkan transkrip yang sudah dikoreksi memberikan hasil lebih baik daripada menerjemahkan kesalahan mentah.

Cara menguji sebelum mengandalkannya

Lakukan uji kecil yang jujur dengan rapat Anda sendiri alih-alih memercayai demo:

1. Rekam sepuluh hingga lima belas menit rapat yang realistis dengan peserta, mikrofon, dan campuran bahasa yang biasa Anda gunakan.
2. Tulis transkrip acuan yang cermat untuk dua atau tiga menit yang sering berganti bahasa.
3. Bandingkan transkrip AI dengan acuan Anda. Hitung kata yang hilang, kata yang salah, dan bagian berganti bahasa yang ditulis dalam bahasa yang keliru.
4. Periksa label pembicara secara terpisah dari kata-katanya.
5. Ulangi uji dengan pengaturan satu bahasa dan, bila relevan, dengan opsi Multibahasa di Teks Langsung.
6. Uji lagi setiap kali perangkat audio atau campuran bahasa Anda berubah.

Jika kesalahan terpusat pada nama dan istilah, upaya pemeriksaan akan kecil. Jika seluruh bagian dalam bahasa kedua hilang, konfigurasi tersebut tidak cocok untuk rapat itu.

Kemampuan penyedia vs. fitur ClearScribe

Kesimpulan

AI dapat mentranskripsikan rapat multibahasa, dan model multibahasa berkembang dengan cepat. Pertanyaan utamanya adalah apakah sebuah produk hanya mendeteksi satu bahasa dominan atau benar-benar mengikuti pergantian bahasa. Saat ini, ClearScribe mengikuti pergantian bahasa di opsi Multibahasa pada Teks Langsung untuk bahasa yang tercantum, sementara rapat yang direkam menggunakan deteksi bahasa dominan dengan diarisasi pembicara. Uji dengan audio Anda sendiri, periksa transkripnya, dan pilih mode yang sesuai dengan cara tim Anda benar-benar berbicara.

Sumber

• Dokumentasi Deepgram: Multilingual Code Switching
• Dokumentasi Deepgram: Language Detection
• Dokumentasi Deepgram: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. dkk.: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741