Чи може ШІ розшифрувати зустріч, коли учасники переходять з однієї мови на іншу?

Багато зустрічей відбуваються не однією мовою. Продуктова команда в Бейруті може в одному реченні переходити з арабської на французьку й англійську. Розмова з клієнтом може початися іспанською, а закінчитися англійською. У сімейному бізнесі можуть постійно змішувати гінді та англійську. Чи зможе ШІ все одно створити придатну розшифровку?

Коротка відповідь: часто так, але результат значною мірою залежить від налаштувань системи розпізнавання мовлення. Одні системи визначають одну основну мову для всього запису. Інші створені, щоб стежити за зміною мови слово за словом. Розуміти, якою системою ви користуєтеся, важливіше за будь-які маркетингові обіцянки.

Що перемикання кодів означає для розпізнавання мовлення

Перехід з однієї мови на іншу в межах однієї розмови називають перемиканням кодів (code-switching). Дослідники зазвичай розрізняють два види:

• Між реченнями: людина завершує фразу англійською, а наступна фраза звучить французькою.
• Усередині речення: «Нам потрібна facture до п'ятниці, yalla, давайте закриємо питання».

У нещодавньому систематичному огляді досліджень наскрізного (end-to-end) розпізнавання мовлення зазначено, що зміна мови всередині речення — найскладніший випадок для мовленнєвих систем, і саме йому присвячено більшість праць. Модель має одночасно розпізнавати звуки, лексику й граматику двох мов, нерідко з акцентом, на який впливає третя мова.

Визначення мови — це не те саме, що відстеження кожного перемикання

Дві функції постачальників часто плутають.

Автоматичне визначення мови встановлює основну мову запису й розшифровує аудіо цією мовою. У документації Deepgram функцію detect_language описано так: вона працює із заздалегідь записаним аудіо та повертає одну визначену мову для кожного аудіоканалу. Це чудовий варіант, якщо кожен запис здебільшого звучить однією мовою, яку ви не вказали заздалегідь, але функція не призначена для того, щоб повідомляти про кілька мов в одному каналі.

Багатомовний режим із перемиканням кодів працює інакше. У Deepgram Nova-3 параметр language=multi вмикає багатомовну модель, яка продовжує розшифровку після зміни мови та позначає кожне слово кодом мови. Режим працює як для записаного, так і для потокового аудіо, а необов'язкові мовні підказки допомагають спрямувати модель на очікувані мови.

Якщо інструмент визначає лише одну мову, зустріч, яка на 70% відбувається англійською і на 30% арабською, зазвичай буде розшифрована як англійська, а арабські фрагменти можуть виявитися неточними, приблизними або взагалі пропущеними.

Що ClearScribe робить сьогодні

Вебплатформа ClearScribe використовує Deepgram Nova-3, але по-різному залежно від функції. Нижче описано поточну реалізацію, а не все, що постачальник теоретично може запропонувати.

Записані та завантажені зустрічі. Обробляючи аудіо зустрічі, ClearScribe запитує автоматичне визначення мови, діаризацію мовців і поділ на висловлювання. У розшифровці зберігається одна визначена мова для всього запису. Найкраще це працює, коли одна мова явно переважає. Наразі ClearScribe не позначає кожне перемикання мови в розшифровці записаної зустрічі, тож не варто очікувати, що кожне перемикання буде розпізнано автоматично й надійно.

Субтитри в реальному часі. Субтитри в реальному часі ClearScribe мають варіант Багатомовний, який використовує багатомовний режим Deepgram Nova-3 з коротшим визначенням кінця фрази, придатним для перемикання кодів. Поточна конфігурація ClearScribe вказує для цього варіанта десять мов: англійську, іспанську, французьку, німецьку, гінді, російську, португальську, японську, італійську та нідерландську. Якщо на зустрічі звучить лише одна мова, зазвичай краще вибрати саме її.

Після розшифровки. Ви можете перекладати розшифровки й працювати з кількома мовами, перейменовувати мовців, виправляти їх розподіл і створювати підсумки та списки завдань. Повний список підтримуваних мов наведено на сторінці глобальна мовна підтримка ClearScribe.

Діаризація мовців на багатомовних зустрічах

Діаризація відповідає на запитання «хто і коли говорив», а не «якою мовою говорили». Діаризація Deepgram присвоює кожному слову номер мовця, а ClearScribe перетворює ці номери на пронумеровані мітки, наприклад «Мовець 1» і «Мовець 2». Deepgram описує свою діаризацію як незалежну від мови, тож у принципі людина, яка змінила мову, зберігає ту саму мітку.

На практиці помилок діаризації стає більше під час одночасного мовлення, дуже коротких реплік, схожих голосів і віддалених мікрофонів. Заплануйте час на перевірку міток мовців і їх перейменування після зустрічі.

Коли точність знижується

Очікуйте слабших результатів, якщо:

• Учасники кілька разів змінюють мову в короткому реченні.
• Імена, назви продуктів і абревіатури вбудовуються в граматику іншої мови.
• Мова чи діалект не входить до списку, який постачальник підтримує для вибраного режиму.
• Кілька людей говорять одночасно або в приміщенні є відлуння й фоновий шум.
• Запис обробляється з визначенням однієї мови, хоча значна його частина звучить другою мовою.
• Сильні регіональні діалекти, наприклад розмовні варіанти арабської, відрізняються від навчальних даних.

Розшифровка може виглядати гладкою і все одно бути хибною. Мовленнєві моделі іноді перетворюють іншомовне слово на схоже за звучанням слово основної мови.

Практичний порядок роботи з багатомовними зустрічами

1. Визначте основну мову. Якщо одна мова переважає, орієнтуйтеся на неї та використовуйте одномовні налаштування, коли вони доступні.
2. Вмикайте багатомовний режим свідомо. Для живих сесій, де справді змішуються підтримувані мови, вибирайте варіант «Багатомовний» у субтитрах у реальному часі.
3. Покращте звук. Використовуйте добрий мікрофон, зменште паралельні розмови й попросіть учасників не перебивати одне одного.
4. Представте учасників. Коротке коло знайомства на початку спрощує перевірку мовців.
5. Перевіряйте перед надсиланням. Перегляньте фрагменти з перемиканням мови, імена та числа, потім перейменуйте мовців і виправте сегменти.
6. Перекладайте після перевірки. Переклад виправленої розшифровки дає кращий результат, ніж переклад невиправлених помилок.

Як перевірити, перш ніж покладатися на результат

Проведіть невеликий чесний тест на власних зустрічах, а не довіряйте демонстрації:

1. Запишіть десять–п'ятнадцять хвилин реалістичної зустрічі зі звичними учасниками, мікрофонами та поєднанням мов.
2. Ретельно складіть еталонну розшифровку двох-трьох хвилин із частими перемиканнями.
3. Порівняйте розшифровку ШІ з еталоном. Порахуйте пропущені слова, помилкові слова та фрагменти з перемиканням, передані не тією мовою.
4. Перевірте мітки мовців окремо від слів.
5. Повторіть тест з одномовним налаштуванням і, де це доречно, з варіантом «Багатомовний» субтитрів у реальному часі.
6. Повторюйте тест щоразу, коли змінюється звукове обладнання або поєднання мов.

Якщо помилки зосереджені в іменах і термінах, перевірка займе небагато часу. Якщо зникають цілі фрагменти другою мовою, така конфігурація не підходить для цієї зустрічі.

Можливості постачальника та функції ClearScribe

Підсумок

ШІ вміє розшифровувати багатомовні зустрічі, і багатомовні моделі швидко вдосконалюються. Головне питання в тому, чи продукт лише визначає одну основну мову, чи справді відстежує перемикання. Сьогодні ClearScribe відстежує перемикання у варіанті «Багатомовний» субтитрів у реальному часі для перелічених мов, а для записаних зустрічей використовує визначення основної мови з діаризацією мовців. Перевірте на власному аудіо, перегляньте розшифровку й виберіть режим, який відповідає тому, як насправді говорить ваша команда.

Джерела

• Документація Deepgram: Multilingual Code Switching
• Документація Deepgram: Language Detection
• Документація Deepgram: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. та ін.: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741