האם בינה מלאכותית יכולה לתמלל פגישה כשהמשתתפים עוברים בין שפות?

פגישות רבות אינן מתנהלות בשפה אחת. צוות מוצר בביירות יכול לעבור בין ערבית, צרפתית ואנגלית באותו משפט. שיחת מכירה יכולה להתחיל בספרדית ולהסתיים באנגלית. עסק משפחתי יכול לערבב הינדי ואנגלית לאורך כל הזמן. האם בינה מלאכותית עדיין יכולה להפיק תמליל שימושי?

התשובה הקצרה: לעיתים קרובות כן, אבל התוצאה תלויה מאוד באופן שבו מוגדרת מערכת זיהוי הדיבור. חלק מהמערכות מזהות שפה ראשית אחת לכל ההקלטה. אחרות מתוכננות לעקוב אחרי מעברי שפה מילה אחר מילה. לדעת באיזו מהן אתם משתמשים חשוב יותר מכל הבטחה שיווקית.

מה המשמעות של החלפת קוד עבור זיהוי דיבור

מעבר בין שפות באותה שיחה נקרא החלפת קוד (code-switching). חוקרים נוהגים להבחין בין שני סוגים:

• בין משפטים: אדם מסיים משפט באנגלית, והמשפט הבא נאמר בצרפתית.
• בתוך משפט: „אנחנו צריכים את ה־facture עד יום שישי, yalla, בואו נסגור את זה."

סקירה שיטתית עדכנית של מחקרים על זיהוי דיבור מקצה לקצה מציינת שמעבר בתוך משפט הוא המקרה הקשה ביותר עבור מערכות דיבור, והוא גם המוקד של רוב המחקרים. המודל צריך לזהות באותו רגע צלילים, אוצר מילים ודקדוק של שתי שפות, ולא פעם במבטא שמושפע משפה שלישית.

זיהוי שפה אינו זהה למעקב אחרי כל מעבר

שתי יכולות שספקים מציעים מתבלבלות לעיתים קרובות.

זיהוי שפה אוטומטי קובע מהי השפה הדומיננטית בהקלטה ומתמלל את השמע בשפה זו. התיעוד של Deepgram מתאר את detect_language כך: היכולת פועלת על שמע מוקלט מראש ומחזירה שפה מזוהה אחת לכל ערוץ שמע. היא מצוינת כאשר כל הקלטה נמצאת ברובה בשפה אחת שלא ציינתם מראש, אבל היא לא נועדה לדווח על כמה שפות בתוך ערוץ אחד.

מצב רב־לשוני עם החלפת קוד שונה. ב־Deepgram Nova-3, ההגדרה language=multi משתמשת במודל רב־לשוני שממשיך לתמלל כשהשפה משתנה ומסמן כל מילה בקוד שפה. המצב פועל על שמע מוקלט ועל שידור חי, ורמזי שפה אופציונליים יכולים לכוון את המודל לשפות שאתם מצפים להן.

אם כלי מזהה שפה אחת בלבד, פגישה שמתנהלת ב־70% אנגלית וב־30% ערבית תתומלל בדרך כלל כאנגלית, והקטעים בערבית עלולים לצאת לא מדויקים, מקורבים או חסרים.

מה ClearScribe עושה כיום

פלטפורמת האינטרנט של ClearScribe משתמשת ב־Deepgram Nova-3, אבל בדרכים שונות בהתאם ליכולת. להלן המימוש הנוכחי, ולא כל מה שהספק יכול לעשות בתיאוריה.

פגישות מוקלטות ומועלות. כאשר ClearScribe מעבדת שמע של פגישה, היא מבקשת זיהוי שפה אוטומטי, הפרדת דוברים וחלוקה למבעים. התמליל שומר שפה מזוהה אחת עבור ההקלטה. זה עובד בצורה הטובה ביותר כאשר שפה אחת שולטת בבירור. כרגע ClearScribe אינה מסמנת כל מעבר שפה בתוך תמליל של פגישה מוקלטת, ולכן אל תצפו שכל מעבר יזוהה באופן אוטומטי ואמין.

כתוביות חיות. הכתוביות החיות של ClearScribe כוללות אפשרות רב־לשונית שמשתמשת במצב הרב־לשוני של Deepgram Nova-3, עם זיהוי קצר יותר של סוף דיבור שמתאים להחלפת קוד. התצורה הנוכחית של ClearScribe מציינת עשר שפות עבור אפשרות זו: אנגלית, ספרדית, צרפתית, גרמנית, הינדי, רוסית, פורטוגזית, יפנית, איטלקית והולנדית. אם בפגישה שלכם מדברים בשפה אחת בלבד, בדרך כלל עדיף לבחור ישירות בשפה זו.

אחרי התמלול. אפשר לתרגם תמלילים ולעבוד בכמה שפות, לשנות שמות של דוברים, לתקן שיוך דוברים וליצור סיכומים ומשימות לביצוע. לרשימה המלאה של השפות הנתמכות, ראו את התמיכה הגלובלית בשפות של ClearScribe.

הפרדת דוברים בפגישות רב־לשוניות

הפרדת דוברים עונה על השאלה „מי דיבר ומתי", ולא „באיזו שפה דיברו". מנגנון ההפרדה של Deepgram משייך מספר דובר לכל מילה, ו־ClearScribe הופכת את המספרים האלה לתוויות ממוספרות כמו דובר 1 ודובר 2. Deepgram מתארת את מנגנון ההפרדה שלה כבלתי תלוי בשפה, כך שבאופן עקרוני אדם שעובר בין שפות שומר על אותה תווית.

בפועל, שגיאות ההפרדה מתרבות כשיש דיבור חופף, קריאות ביניים קצרות מאוד, קולות דומים ומיקרופונים מרוחקים. תכננו לבדוק את תוויות הדוברים ולשנות את שמותיהן אחרי הפגישה.

מתי הדיוק יורד

צפו לתוצאות חלשות יותר כאשר:

• משתתפים מחליפים שפה כמה פעמים בתוך משפט קצר.
• שמות, מונחי מוצר וראשי תיבות משולבים בדקדוק של שפה אחרת.
• שפה או ניב אינם נכללים ברשימה שהספק תומך בה עבור המצב שנבחר.
• כמה אנשים מדברים בבת אחת, או שיש בחדר הד ורעש רקע.
• הקלטה מעובדת עם זיהוי של שפה אחת בזמן שחלקים גדולים ממנה בשפה שנייה.
• ניבים אזוריים חזקים, כמו הניבים המדוברים של הערבית, שונים מנתוני האימון.

תמליל יכול להיראות שוטף ועדיין להיות שגוי. מודלי דיבור הופכים לפעמים מילה זרה למילה דומה בצליל מהשפה הראשית.

תהליך עבודה מעשי לפגישות רב־לשוניות

1. קבעו את השפה הראשית. אם שפה אחת שולטת, תכננו סביבה והשתמשו בהגדרות של שפה אחת כשהן זמינות.
2. השתמשו במצב הרב־לשוני בכוונה. בסשנים חיים שמערבבים באמת שפות נתמכות, בחרו באפשרות הרב־לשונית בכתוביות החיות.
3. שפרו את השמע. השתמשו במיקרופון טוב, צמצמו שיחות צד ובקשו מהמשתתפים לא לדבר זה על גבי זה.
4. הציגו את הדוברים. סבב שמות קצר בתחילת הפגישה מקל על בדיקת הדוברים.
5. בדקו לפני שיתוף. בדקו קטעים עם מעברי שפה, שמות ומספרים, ואז שנו את שמות הדוברים ותקנו מקטעים.
6. תרגמו אחרי הבדיקה. תרגום של תמליל מתוקן מניב תוצאות טובות יותר מתרגום של שגיאות גולמיות.

איך לבדוק לפני שסומכים על זה

ערכו בדיקה קטנה וכנה עם הפגישות שלכם במקום לסמוך על הדגמה:

1. הקליטו עשר עד חמש עשרה דקות של פגישה מציאותית עם המשתתפים, המיקרופונים ותמהיל השפות הרגילים שלכם.
2. כתבו בקפידה תמליל ייחוס לשתיים או שלוש דקות שיש בהן מעברי שפה תכופים.
3. השוו את תמליל הבינה המלאכותית לתמליל הייחוס. ספרו מילים חסרות, מילים שגויות וקטעים עם מעבר שפה שנכתבו בשפה הלא נכונה.
4. בדקו את תוויות הדוברים בנפרד מהמילים.
5. חזרו על הבדיקה עם הגדרה של שפה אחת, ובמקרים הרלוונטיים גם עם האפשרות הרב־לשונית של הכתוביות החיות.
6. בדקו שוב בכל פעם שמערך השמע או תמהיל השפות משתנה.

אם השגיאות מרוכזות בשמות ובמונחים, מאמץ הבדיקה יהיה קטן. אם חסרים קטעים שלמים בשפה השנייה, התצורה הזו אינה מתאימה לפגישה.

יכולת הספק לעומת יכולת של ClearScribe

השורה התחתונה

בינה מלאכותית יכולה לתמלל פגישות רב־לשוניות, והמודלים הרב־לשוניים משתפרים במהירות. השאלה המרכזית היא אם מוצר רק מזהה שפה דומיננטית אחת או באמת עוקב אחרי המעברים. כיום ClearScribe עוקבת אחרי המעברים באפשרות הרב־לשונית של הכתוביות החיות עבור השפות שצוינו, ואילו בפגישות מוקלטות היא משתמשת בזיהוי השפה הדומיננטית יחד עם הפרדת דוברים. בדקו עם השמע שלכם, עברו על התמליל ובחרו את המצב שמתאים לאופן שבו הצוות שלכם באמת מדבר.

מקורות

• תיעוד Deepgram: Multilingual Code Switching
• תיעוד Deepgram: Language Detection
• תיעוד Deepgram: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. ואחרים: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741