آیا هوش مصنوعی می‌تواند جلسه‌ای را پیاده‌سازی کند که شرکت‌کنندگانش بین زبان‌ها جابه‌جا می‌شوند؟

بسیاری از جلسه‌ها فقط به یک زبان برگزار نمی‌شوند. یک تیم محصول در بیروت ممکن است در یک جمله بین عربی، فرانسوی و انگلیسی جابه‌جا شود. یک تماس فروش ممکن است به اسپانیایی شروع شود و به انگلیسی تمام شود. یک کسب‌وکار خانوادگی ممکن است در تمام مدت هندی و انگلیسی را با هم درآمیزد. آیا هوش مصنوعی باز هم می‌تواند متن پیاده‌شده قابل‌استفاده‌ای تولید کند؟

پاسخ کوتاه: اغلب بله، اما نتیجه تا حد زیادی به پیکربندی سیستم بازشناسی گفتار بستگی دارد. برخی سیستم‌ها برای کل ضبط فقط یک زبان اصلی تشخیص می‌دهند. برخی دیگر طوری طراحی شده‌اند که تغییر زبان را کلمه به کلمه دنبال کنند. دانستن اینکه از کدام نوع استفاده می‌کنید، از هر وعده بازاریابی مهم‌تر است.

رمزگردانی برای بازشناسی گفتار چه معنایی دارد

جابه‌جا شدن بین زبان‌ها در یک گفت‌وگو رمزگردانی (code-switching) نام دارد. پژوهشگران معمولاً دو نوع آن را از هم جدا می‌کنند:

• بین جمله‌ها: فردی جمله‌اش را به انگلیسی تمام می‌کند و جمله بعدی به فرانسوی است.
• درون یک جمله: «تا جمعه facture را لازم داریم، yalla، تمامش کنیم.»

یک مرور نظام‌مند تازه بر پژوهش‌های بازشناسی گفتار سرتاسری (end-to-end) اشاره می‌کند که جابه‌جایی درون جمله دشوارترین حالت برای سیستم‌های گفتاری است و بیشتر مطالعات هم بر همین حالت تمرکز دارند. مدل باید در یک لحظه صداها، واژگان و دستور زبان دو زبان را تشخیص دهد، آن هم اغلب با لهجه‌ای که از زبان سومی اثر گرفته است.

تشخیص زبان با دنبال کردن هر جابه‌جایی یکی نیست

دو قابلیتی که ارائه‌دهندگان عرضه می‌کنند اغلب با هم اشتباه گرفته می‌شوند.

تشخیص خودکار زبان زبان غالب یک ضبط را مشخص می‌کند و صدا را به همان زبان پیاده‌سازی می‌کند. مستندات Deepgram قابلیت detect_language را این‌طور توصیف می‌کند: روی صدای از پیش ضبط‌شده کار می‌کند و برای هر کانال صوتی یک زبان تشخیص‌داده‌شده برمی‌گرداند. این قابلیت وقتی هر ضبط عمدتاً به یک زبان باشد که از قبل مشخص نکرده‌اید عالی است، اما برای گزارش چند زبان درون یک کانال طراحی نشده است.

حالت چندزبانه با رمزگردانی متفاوت است. در Deepgram Nova-3، تنظیم language=multi از مدلی چندزبانه استفاده می‌کند که با تغییر زبان به پیاده‌سازی ادامه می‌دهد و برای هر کلمه یک کد زبان ثبت می‌کند. این حالت هم برای صدای ضبط‌شده و هم برای پخش زنده کار می‌کند و راهنماهای زبانی اختیاری می‌توانند مدل را به سمت زبان‌های مورد انتظار شما هدایت کنند.

اگر ابزاری فقط یک زبان را تشخیص دهد، جلسه‌ای که ۷۰٪ آن انگلیسی و ۳۰٪ آن عربی است معمولاً انگلیسی پیاده‌سازی می‌شود و بخش‌های عربی ممکن است نادرست، تقریبی یا کاملاً جاافتاده باشند.

ClearScribe امروز چه می‌کند

پلتفرم وب ClearScribe از Deepgram Nova-3 استفاده می‌کند، اما بسته به قابلیت به شکل‌های متفاوت. آنچه در ادامه می‌آید پیاده‌سازی فعلی است، نه هر کاری که ارائه‌دهنده از نظر تئوری می‌تواند انجام دهد.

جلسه‌های ضبط‌شده و بارگذاری‌شده. وقتی ClearScribe صدای جلسه را پردازش می‌کند، تشخیص خودکار زبان، تفکیک گویندگان و تقسیم گفتار به عبارت‌ها را درخواست می‌کند. متن پیاده‌شده یک زبان تشخیص‌داده‌شده را برای ضبط ذخیره می‌کند. این روش وقتی بهترین نتیجه را می‌دهد که یک زبان به‌روشنی غالب باشد. ClearScribe در حال حاضر هر جابه‌جایی زبان را در متن پیاده‌شده جلسه ضبط‌شده علامت‌گذاری نمی‌کند، پس انتظار نداشته باشید هر جابه‌جایی به‌طور خودکار و قابل‌اعتماد شناسایی شود.

زیرنویس زنده. زیرنویس زنده ClearScribe گزینه‌ای به نام چندزبانه دارد که از حالت چندزبانه Deepgram Nova-3 استفاده می‌کند و تشخیص پایان گفتار در آن کوتاه‌تر و مناسب رمزگردانی است. پیکربندی فعلی ClearScribe برای این گزینه ده زبان را فهرست می‌کند: انگلیسی، اسپانیایی، فرانسوی، آلمانی، هندی، روسی، پرتغالی، ژاپنی، ایتالیایی و هلندی. اگر در جلسه شما فقط یک زبان استفاده می‌شود، معمولاً بهتر است همان زبان را مستقیماً انتخاب کنید.

پس از پیاده‌سازی. می‌توانید متن‌های پیاده‌شده را ترجمه کنید و با چند زبان کار کنید، نام گویندگان را تغییر دهید، انتساب گویندگان را اصلاح کنید و خلاصه‌ها و اقدامات لازم را تولید کنید. برای دیدن فهرست کامل زبان‌های پشتیبانی‌شده، به صفحه پشتیبانی جهانی زبان در ClearScribe مراجعه کنید.

تفکیک گویندگان در جلسه‌های چندزبانه

تفکیک گویندگان به این پرسش پاسخ می‌دهد که «چه کسی و چه زمانی صحبت کرد»، نه اینکه «به چه زبانی صحبت شد». سازوکار تفکیک Deepgram به هر کلمه یک شماره گوینده می‌دهد و ClearScribe این شماره‌ها را به برچسب‌های شماره‌دار مانند گوینده ۱ و گوینده ۲ تبدیل می‌کند. Deepgram تفکیک گویندگان خود را مستقل از زبان توصیف می‌کند، بنابراین در اصل کسی که زبانش را عوض می‌کند همان برچسب را حفظ می‌کند.

در عمل، خطاهای تفکیک با هم‌پوشانی صداها، مداخله‌های بسیار کوتاه، صداهای شبیه به هم و میکروفون‌های دور افزایش می‌یابد. برنامه‌ریزی کنید که پس از جلسه برچسب‌های گویندگان را بازبینی و نام‌گذاری کنید.

چه زمانی دقت کاهش می‌یابد

در این موارد انتظار نتیجه ضعیف‌تری داشته باشید:

• افراد در یک جمله کوتاه چند بار زبان عوض می‌کنند.
• نام‌ها، اصطلاحات محصول و سرواژه‌ها در دستور زبان زبانی دیگر به کار می‌روند.
• یک زبان یا گویش خارج از فهرستی است که ارائه‌دهنده برای حالت انتخاب‌شده پشتیبانی می‌کند.
• چند نفر هم‌زمان صحبت می‌کنند یا اتاق پژواک و نویز پس‌زمینه دارد.
• ضبطی با تشخیص تک‌زبانه پردازش می‌شود، در حالی که بخش بزرگی از آن به زبان دوم است.
• گویش‌های محلی قوی، مانند گونه‌های محاوره‌ای عربی، با داده‌های آموزشی تفاوت دارند.

یک متن پیاده‌شده ممکن است روان به نظر برسد و باز هم نادرست باشد. مدل‌های گفتاری گاهی یک واژه خارجی را به واژه‌ای هم‌آوا از زبان اصلی تبدیل می‌کنند.

یک روش کار عملی برای جلسه‌های چندزبانه

1. زبان اصلی را مشخص کنید. اگر یک زبان غالب است، برنامه‌تان را بر اساس آن بچینید و هر جا تنظیمات تک‌زبانه در دسترس است از آن استفاده کنید.
2. از حالت چندزبانه آگاهانه استفاده کنید. برای نشست‌های زنده‌ای که واقعاً زبان‌های پشتیبانی‌شده را با هم می‌آمیزند، گزینه چندزبانه را در زیرنویس زنده انتخاب کنید.
3. کیفیت صدا را بهتر کنید. از میکروفون خوب استفاده کنید، گفت‌وگوهای جانبی را کم کنید و از شرکت‌کنندگان بخواهید هم‌زمان صحبت نکنند.
4. گویندگان را معرفی کنید. یک دور کوتاه معرفی نام‌ها در ابتدای جلسه بازبینی گویندگان را آسان‌تر می‌کند.
5. پیش از اشتراک‌گذاری بازبینی کنید. بخش‌های دارای جابه‌جایی زبان، نام‌ها و اعداد را بررسی کنید، سپس نام گویندگان را تغییر دهید و بخش‌ها را اصلاح کنید.
6. پس از بازبینی ترجمه کنید. ترجمه متن پیاده‌شده اصلاح‌شده نتیجه بهتری از ترجمه خطاهای خام می‌دهد.

پیش از اعتماد کردن، چگونه آزمایش کنیم

به جای اعتماد به یک نسخه نمایشی، آزمایشی کوچک و صادقانه با جلسه‌های خودتان انجام دهید:

1. ده تا پانزده دقیقه از یک جلسه واقعی را با شرکت‌کنندگان، میکروفون‌ها و ترکیب زبانی همیشگی‌تان ضبط کنید.
2. برای دو یا سه دقیقه‌ای که جابه‌جایی زبان در آن زیاد است، با دقت یک متن مرجع بنویسید.
3. متن هوش مصنوعی را با متن مرجع مقایسه کنید. کلمه‌های جاافتاده، کلمه‌های نادرست و بخش‌های دارای جابه‌جایی را که به زبان اشتباه نوشته شده‌اند بشمارید.
4. برچسب‌های گویندگان را جدا از کلمه‌ها بررسی کنید.
5. آزمایش را با تنظیم تک‌زبانه و، در صورت امکان، با گزینه چندزبانه زیرنویس زنده تکرار کنید.
6. هر بار که تجهیزات صوتی یا ترکیب زبانی شما تغییر می‌کند، دوباره آزمایش کنید.

اگر خطاها در نام‌ها و اصطلاحات متمرکز باشد، بازبینی زحمت کمی دارد. اگر بخش‌های کاملی به زبان دوم جا افتاده باشد، آن پیکربندی برای آن جلسه مناسب نیست.

توانایی ارائه‌دهنده در برابر قابلیت ClearScribe

جمع‌بندی

هوش مصنوعی می‌تواند جلسه‌های چندزبانه را پیاده‌سازی کند و مدل‌های چندزبانه به‌سرعت بهتر می‌شوند. پرسش اصلی این است که آیا یک محصول فقط یک زبان غالب را تشخیص می‌دهد یا واقعاً جابه‌جایی‌ها را دنبال می‌کند. امروز ClearScribe جابه‌جایی‌ها را در گزینه چندزبانه زیرنویس زنده برای زبان‌های فهرست‌شده دنبال می‌کند، در حالی که جلسه‌های ضبط‌شده از تشخیص زبان غالب همراه با تفکیک گویندگان استفاده می‌کنند. با صدای خودتان آزمایش کنید، متن پیاده‌شده را بازبینی کنید و حالتی را برگزینید که با شیوه واقعی صحبت کردن تیم شما سازگار است.

منابع

• مستندات Deepgram: Multilingual Code Switching
• مستندات Deepgram: Language Detection
• مستندات Deepgram: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. و همکاران: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review، arXiv:2507.07741