Czy AI potrafi transkrybować spotkanie, gdy uczestnicy przechodzą z jednego języka na inny?

Wiele spotkań nie odbywa się w jednym języku. Zespół produktowy w Bejrucie może w jednym zdaniu przechodzić między arabskim, francuskim i angielskim. Rozmowa sprzedażowa może zacząć się po hiszpańsku, a skończyć po angielsku. Firma rodzinna może przez cały czas mieszać hindi z angielskim. Czy AI mimo to stworzy użyteczną transkrypcję?

Krótka odpowiedź: często tak, ale wynik w dużym stopniu zależy od konfiguracji systemu rozpoznawania mowy. Niektóre systemy wykrywają jeden główny język dla całego nagrania. Inne są zaprojektowane tak, by śledzić zmiany języka słowo po słowie. Wiedza o tym, z którego korzystasz, jest ważniejsza niż jakiekolwiek obietnice marketingowe.

Co przełączanie kodów oznacza dla rozpoznawania mowy

Przechodzenie między językami w tej samej rozmowie nazywa się przełączaniem kodów (code-switching). Badacze zwykle wyróżniają dwa rodzaje:

• Między zdaniami: ktoś kończy zdanie po angielsku, a kolejne zdanie jest po francusku.
• Wewnątrz zdania: „Potrzebujemy facture przed piątkiem, yalla, zamykamy temat”.

Niedawny systematyczny przegląd badań nad rozpoznawaniem mowy typu end-to-end wskazuje, że zmiana języka wewnątrz zdania to najtrudniejszy przypadek dla systemów mowy i ten, na którym skupia się większość badań. Model musi w tym samym momencie rozpoznać dźwięki, słownictwo i gramatykę dwóch języków, często wymawianych z akcentem ukształtowanym przez trzeci.

Wykrywanie języka to nie to samo co śledzenie każdej zmiany

Dwie funkcje oferowane przez dostawców są często mylone.

Automatyczne wykrywanie języka określa dominujący język nagrania i transkrybuje dźwięk w tym języku. Dokumentacja Deepgram opisuje detect_language w ten sposób: funkcja działa na wcześniej nagranym dźwięku i zwraca jeden wykryty język dla każdego kanału audio. Sprawdza się znakomicie, gdy każde nagranie jest w większości w jednym języku, którego nie wskazano z góry, ale nie służy do raportowania kilku języków w jednym kanale.

Tryb wielojęzyczny z przełączaniem kodów działa inaczej. W Deepgram Nova-3 ustawienie language=multi korzysta z modelu wielojęzycznego, który kontynuuje transkrypcję po zmianie języka i oznacza każde słowo kodem języka. Działa zarówno dla nagrań, jak i transmisji strumieniowej, a opcjonalne podpowiedzi językowe mogą ukierunkować model na oczekiwane języki.

Jeśli narzędzie wykrywa tylko jeden język, spotkanie prowadzone w 70% po angielsku i w 30% po arabsku zostanie zwykle przetranskrybowane jako angielskie, a fragmenty po arabsku mogą być niedokładne, przybliżone lub mogą ich brakować.

Co ClearScribe robi dziś

Platforma internetowa ClearScribe korzysta z Deepgram Nova-3, ale w różny sposób w zależności od funkcji. Oto obecna implementacja, a nie wszystko, co dostawca mógłby teoretycznie zrobić.

Nagrane i przesłane spotkania. Gdy ClearScribe przetwarza dźwięk ze spotkania, zleca automatyczne wykrywanie języka, diaryzację mówców i podział na wypowiedzi. Transkrypcja zapisuje jeden wykryty język dla nagrania. Działa to najlepiej, gdy jeden język wyraźnie dominuje. ClearScribe nie oznacza obecnie każdej zmiany języka w transkrypcji nagranego spotkania, więc nie należy oczekiwać, że każda zmiana zostanie rozpoznana automatycznie i niezawodnie.

Napisy na żywo. Napisy na żywo ClearScribe oferują opcję Wielojęzyczne, która korzysta z wielojęzycznego trybu Deepgram Nova-3, z krótszym wykrywaniem końca wypowiedzi dostosowanym do przełączania kodów. Obecna konfiguracja ClearScribe wymienia dla tej opcji dziesięć języków: angielski, hiszpański, francuski, niemiecki, hindi, rosyjski, portugalski, japoński, włoski i niderlandzki. Jeśli na spotkaniu używa się tylko jednego języka, zwykle lepiej wybrać go bezpośrednio.

Po transkrypcji. Możesz tłumaczyć transkrypcje i pracować w wielu językach, zmieniać nazwy mówców, poprawiać przypisanie mówców oraz generować podsumowania i zadania do wykonania. Pełną listę obsługiwanych języków znajdziesz na stronie globalna obsługa języków w ClearScribe.

Diaryzacja mówców na spotkaniach wielojęzycznych

Diaryzacja odpowiada na pytanie „kto mówił i kiedy”, a nie „w jakim języku mówiono”. Diaryzacja Deepgram przypisuje każdemu słowu numer mówcy, a ClearScribe zamienia te numery na ponumerowane etykiety, takie jak Mówca 1 i Mówca 2. Deepgram opisuje swoją diaryzację jako niezależną od języka, więc w zasadzie osoba, która zmienia język, zachowuje tę samą etykietę.

W praktyce błędów diaryzacji przybywa przy nakładającej się mowie, bardzo krótkich wtrąceniach, podobnych głosach i odległych mikrofonach. Zaplanuj sprawdzenie etykiet mówców i zmianę ich nazw po spotkaniu.

Kiedy dokładność spada

Spodziewaj się słabszych wyników, gdy:

• Uczestnicy kilka razy zmieniają język w krótkim zdaniu.
• Nazwy, terminy produktowe i skróty są wplatane w gramatykę innego języka.
• Język lub dialekt nie znajduje się na liście obsługiwanej przez dostawcę w wybranym trybie.
• Kilka osób mówi jednocześnie albo w pomieszczeniu jest echo i hałas w tle.
• Nagranie jest przetwarzane z wykrywaniem jednego języka, choć duża jego część jest w drugim języku.
• Silne dialekty regionalne, na przykład potoczne odmiany arabskiego, różnią się od danych treningowych.

Transkrypcja może wyglądać płynnie, a mimo to być błędna. Modele mowy czasem zamieniają obce słowo na podobnie brzmiące słowo z głównego języka.

Praktyczny sposób pracy ze spotkaniami wielojęzycznymi

1. Ustal główny język. Jeśli jeden język dominuje, zaplanuj pracę wokół niego i korzystaj z ustawień jednojęzycznych, gdy są dostępne.
2. Świadomie korzystaj z trybu wielojęzycznego. W sesjach na żywo, w których rzeczywiście miesza się obsługiwane języki, wybierz opcję Wielojęzyczne w napisach na żywo.
3. Popraw jakość dźwięku. Używaj dobrego mikrofonu, ograniczaj rozmowy w tle i poproś uczestników, by nie mówili jednocześnie.
4. Przedstaw mówców. Szybka runda przedstawienia się na początku ułatwia późniejsze sprawdzanie mówców.
5. Sprawdź przed udostępnieniem. Przejrzyj fragmenty ze zmianą języka, nazwy i liczby, a następnie zmień nazwy mówców i popraw segmenty.
6. Tłumacz po weryfikacji. Tłumaczenie poprawionej transkrypcji daje lepsze wyniki niż tłumaczenie surowych błędów.

Jak to przetestować, zanim zaczniesz na tym polegać

Przeprowadź mały, uczciwy test na własnych spotkaniach, zamiast ufać prezentacji:

1. Nagraj od dziesięciu do piętnastu minut realistycznego spotkania z typowymi uczestnikami, mikrofonami i mieszanką języków.
2. Przygotuj starannie transkrypcję referencyjną dla dwóch lub trzech minut z częstymi zmianami języka.
3. Porównaj transkrypcję AI z referencją. Policz brakujące słowa, błędne słowa oraz fragmenty ze zmianą języka zapisane w niewłaściwym języku.
4. Sprawdź etykiety mówców oddzielnie od słów.
5. Powtórz test z ustawieniem jednojęzycznym oraz, tam gdzie to możliwe, z opcją Wielojęzyczne w napisach na żywo.
6. Testuj ponownie za każdym razem, gdy zmienia się sprzęt audio lub mieszanka języków.

Jeśli błędy dotyczą głównie nazw i terminów, weryfikacja będzie wymagała niewiele pracy. Jeśli brakuje całych fragmentów w drugim języku, ta konfiguracja nie pasuje do spotkania.

Możliwości dostawcy a funkcje ClearScribe

Podsumowanie

AI potrafi transkrybować spotkania wielojęzyczne, a modele wielojęzyczne szybko się poprawiają. Kluczowe pytanie brzmi: czy produkt jedynie wykrywa jeden dominujący język, czy faktycznie śledzi zmiany. Obecnie ClearScribe śledzi zmiany w opcji Wielojęzyczne napisów na żywo dla wymienionych języków, a nagrane spotkania korzystają z wykrywania dominującego języka z diaryzacją mówców. Przetestuj na własnych nagraniach, sprawdź transkrypcję i wybierz tryb, który odpowiada temu, jak naprawdę mówi Twój zespół.

Źródła

• Dokumentacja Deepgram: Multilingual Code Switching
• Dokumentacja Deepgram: Language Detection
• Dokumentacja Deepgram: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. i in.: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741