Может ли ИИ расшифровать встречу, если участники переходят с одного языка на другой?

Многие встречи проходят не на одном языке. Продуктовая команда в Бейруте может в одном предложении переходить с арабского на французский и английский. Звонок с клиентом может начаться на испанском и закончиться на английском. В семейном бизнесе могут постоянно смешивать хинди и английский. Сможет ли ИИ при этом сделать пригодную расшифровку?

Короткий ответ: часто да, но результат сильно зависит от настройки системы распознавания речи. Одни системы определяют один основной язык для всей записи. Другие созданы, чтобы следить за сменой языка слово за словом. Понимать, какой системой вы пользуетесь, важнее любых маркетинговых обещаний.

Что переключение кодов означает для распознавания речи

Переход с одного языка на другой в рамках одного разговора называется переключением кодов (code-switching). Исследователи обычно выделяют два вида:

• Между предложениями: человек заканчивает фразу по-английски, а следующая фраза звучит по-французски.
• Внутри предложения: «Нам нужна facture до пятницы, yalla, давайте закроем вопрос».

В недавнем систематическом обзоре исследований сквозного (end-to-end) распознавания речи отмечается, что смена языка внутри предложения — самый сложный случай для речевых систем, и именно ему посвящено большинство работ. Модели нужно одновременно распознавать звуки, лексику и грамматику двух языков, нередко с акцентом, на который влияет третий язык.

Определение языка — не то же самое, что отслеживание каждого переключения

Две функции поставщиков часто путают.

Автоматическое определение языка выявляет основной язык записи и расшифровывает аудио на этом языке. В документации Deepgram функция detect_language описана так: она работает с заранее записанным аудио и возвращает один определённый язык для каждого аудиоканала. Это отличный вариант, если каждая запись в основном звучит на одном языке, который вы не указали заранее, но функция не предназначена для того, чтобы сообщать о нескольких языках в одном канале.

Многоязычный режим с переключением кодов устроен иначе. В Deepgram Nova-3 параметр language=multi включает многоязычную модель, которая продолжает расшифровку при смене языка и помечает каждое слово кодом языка. Режим работает и для записанного, и для потокового аудио, а необязательные языковые подсказки помогают направить модель на ожидаемые языки.

Если инструмент определяет только один язык, встреча, которая на 70% проходит на английском и на 30% на арабском, обычно будет расшифрована как английская, а арабские фрагменты могут оказаться неточными, приблизительными или вовсе пропущенными.

Что ClearScribe делает сегодня

Веб-платформа ClearScribe использует Deepgram Nova-3, но по-разному в зависимости от функции. Ниже описана текущая реализация, а не всё, что поставщик теоретически может предложить.

Записанные и загруженные встречи. Обрабатывая аудио встречи, ClearScribe запрашивает автоматическое определение языка, диаризацию говорящих и разбиение на высказывания. В расшифровке сохраняется один определённый язык для всей записи. Лучше всего это работает, когда один язык явно преобладает. Сейчас ClearScribe не отмечает каждое переключение языка в расшифровке записанной встречи, поэтому не стоит ожидать, что каждое переключение будет распознано автоматически и надёжно.

Субтитры в реальном времени. Субтитры в реальном времени ClearScribe включают вариант Многоязычный, который использует многоязычный режим Deepgram Nova-3 с более коротким определением конца фразы, подходящим для переключения кодов. В текущей конфигурации ClearScribe для этого варианта указано десять языков: английский, испанский, французский, немецкий, хинди, русский, португальский, японский, итальянский и нидерландский. Если на встрече звучит только один язык, обычно лучше выбрать именно его.

После расшифровки. Вы можете переводить расшифровки и работать с несколькими языками, переименовывать говорящих, исправлять их распределение и создавать краткие итоги и списки задач. Полный список поддерживаемых языков приведён на странице глобальная языковая поддержка ClearScribe.

Диаризация говорящих на многоязычных встречах

Диаризация отвечает на вопрос «кто и когда говорил», а не «на каком языке говорили». Диаризация Deepgram присваивает каждому слову номер говорящего, а ClearScribe превращает эти номера в пронумерованные метки, например «Говорящий 1» и «Говорящий 2». Deepgram описывает свою диаризацию как независимую от языка, поэтому в принципе человек, сменивший язык, сохраняет ту же метку.

На практике ошибок диаризации становится больше при одновременной речи, очень коротких репликах, похожих голосах и удалённых микрофонах. Заложите время на проверку меток говорящих и их переименование после встречи.

Когда точность снижается

Ожидайте более слабых результатов, если:

• Участники несколько раз меняют язык в коротком предложении.
• Имена, названия продуктов и аббревиатуры встраиваются в грамматику другого языка.
• Язык или диалект не входит в список, который поставщик поддерживает для выбранного режима.
• Несколько человек говорят одновременно или в помещении есть эхо и фоновый шум.
• Запись обрабатывается с определением одного языка, хотя значительная её часть звучит на втором языке.
• Сильные региональные диалекты, например разговорные варианты арабского, отличаются от обучающих данных.

Расшифровка может выглядеть гладкой и всё же быть неверной. Речевые модели иногда превращают иностранное слово в похожее по звучанию слово основного языка.

Практичный порядок работы с многоязычными встречами

1. Определите основной язык. Если один язык преобладает, ориентируйтесь на него и используйте одноязычные настройки, когда они доступны.
2. Включайте многоязычный режим осознанно. Для живых сессий, где действительно смешиваются поддерживаемые языки, выбирайте вариант «Многоязычный» в субтитрах в реальном времени.
3. Улучшите звук. Используйте хороший микрофон, сократите параллельные разговоры и попросите участников не перебивать друг друга.
4. Представьте участников. Короткий круг знакомства в начале упрощает проверку говорящих.
5. Проверяйте перед отправкой. Просмотрите фрагменты с переключением языка, имена и числа, затем переименуйте говорящих и исправьте сегменты.
6. Переводите после проверки. Перевод исправленной расшифровки даёт лучший результат, чем перевод неисправленных ошибок.

Как проверить, прежде чем полагаться на результат

Проведите небольшой честный тест на своих встречах, а не доверяйте демонстрации:

1. Запишите десять–пятнадцать минут реалистичной встречи с обычными участниками, микрофонами и сочетанием языков.
2. Тщательно составьте эталонную расшифровку двух-трёх минут с частыми переключениями.
3. Сравните расшифровку ИИ с эталоном. Посчитайте пропущенные слова, ошибочные слова и фрагменты с переключением, переданные не на том языке.
4. Проверьте метки говорящих отдельно от слов.
5. Повторите тест с одноязычной настройкой и, где это применимо, с вариантом «Многоязычный» субтитров в реальном времени.
6. Проводите тест заново при каждом изменении звукового оборудования или сочетания языков.

Если ошибки сосредоточены в именах и терминах, проверка займёт немного времени. Если пропадают целые фрагменты на втором языке, такая конфигурация не подходит для этой встречи.

Возможности поставщика и функции ClearScribe

Итог

ИИ умеет расшифровывать многоязычные встречи, и многоязычные модели быстро совершенствуются. Главный вопрос в том, определяет ли продукт только один основной язык или действительно отслеживает переключения. Сегодня ClearScribe отслеживает переключения в варианте «Многоязычный» субтитров в реальном времени для перечисленных языков, а для записанных встреч использует определение основного языка с диаризацией говорящих. Проверьте на собственном аудио, просмотрите расшифровку и выберите режим, который соответствует тому, как на самом деле говорит ваша команда.

Источники

• Документация Deepgram: Multilingual Code Switching
• Документация Deepgram: Language Detection
• Документация Deepgram: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. и др.: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741