Kan AI transkribera ett möte när deltagarna växlar mellan språk?

Många möten hålls inte på ett enda språk. Ett produktteam i Beirut kan växla mellan arabiska, franska och engelska i en och samma mening. Ett säljsamtal kan börja på spanska och sluta på engelska. Ett familjeföretag kan blanda hindi och engelska hela tiden. Kan AI ändå ta fram en användbar transkription?

Kort svar: ofta ja, men resultatet beror i hög grad på hur taligenkänningssystemet är konfigurerat. Vissa system identifierar ett enda huvudspråk för hela inspelningen. Andra är byggda för att följa språkväxlingar ord för ord. Att veta vilket du använder är viktigare än något marknadsföringslöfte.

Vad kodväxling innebär för taligenkänning

Att växla mellan språk i samma samtal kallas kodväxling (code-switching). Forskare brukar skilja mellan två typer:

• Mellan meningar: en person avslutar en mening på engelska, och nästa mening är på franska.
• Inom en mening: ”Vi behöver facture före fredag, yalla, nu stänger vi det.”

En färsk systematisk litteraturöversikt om end-to-end-taligenkänning konstaterar att växling inom en mening är det svåraste fallet för talsystem, och det som de flesta studier fokuserar på. Modellen måste känna igen ljud, ordförråd och grammatik från två språk i samma ögonblick, ofta uttalade med en brytning som präglas av ett tredje.

Språkidentifiering är inte detsamma som att följa varje växling

Två funktioner hos leverantörerna förväxlas ofta.

Automatisk språkidentifiering avgör det dominerande språket i en inspelning och transkriberar ljudet på det språket. Deepgrams dokumentation beskriver detect_language så här: funktionen fungerar för förinspelat ljud och returnerar ett identifierat språk per ljudkanal. Den är utmärkt när varje inspelning till största delen är på ett språk som du inte angav i förväg, men den är inte gjord för att rapportera flera språk inom samma kanal.

Flerspråkigt läge med kodväxling fungerar annorlunda. Med Deepgram Nova-3 använder inställningen language=multi en flerspråkig modell som fortsätter att transkribera när språket byts och märker varje ord med en språkkod. Den fungerar för förinspelat och strömmat ljud, och valfria språktips kan styra modellen mot de språk du förväntar dig.

Om ett verktyg bara identifierar ett språk kommer ett möte med 70 % engelska och 30 % arabiska oftast att transkriberas som engelska, och de arabiska delarna kan bli felaktiga, ungefärliga eller saknas helt.

Vad ClearScribe gör i dag

ClearScribes webbplattform använder Deepgram Nova-3, men på olika sätt beroende på funktion. Här beskrivs den nuvarande implementeringen, inte allt som leverantören teoretiskt skulle kunna göra.

Inspelade och uppladdade möten. När ClearScribe bearbetar mötesljud begär det automatisk språkidentifiering, talardiarisering och uppdelning i yttranden. Transkriptionen sparar ett identifierat språk för inspelningen. Det fungerar bäst när ett språk tydligt dominerar. ClearScribe markerar för närvarande inte varje språkväxling i transkriptionen av ett inspelat möte, så räkna inte med att varje växling känns igen automatiskt och tillförlitligt.

Live-textning. ClearScribes live-textning har ett alternativ Flerspråkig som använder Deepgram Nova-3:s flerspråkiga läge, med kortare identifiering av talslut som är anpassad till kodväxling. ClearScribes nuvarande konfiguration anger tio språk för detta alternativ: engelska, spanska, franska, tyska, hindi, ryska, portugisiska, japanska, italienska och nederländska. Om ditt möte bara använder ett språk är det oftast bättre att välja just det språket direkt.

Efter transkriptionen. Du kan översätta transkriptioner och arbeta på flera språk, byta namn på talare, korrigera talartilldelningar och skapa sammanfattningar och åtgärdspunkter. Den fullständiga listan över språk som stöds finns under ClearScribes globala språkstöd.

Talardiarisering i flerspråkiga möten

Talardiarisering svarar på frågan ”vem talade när”, inte ”vilket språk talades”. Deepgrams diarisering tilldelar varje ord ett talarnummer, och ClearScribe gör om dessa nummer till numrerade etiketter som Talare 1 och Talare 2. Deepgram beskriver sin diarisering som språkoberoende, så i princip behåller en person som byter språk samma etikett.

I praktiken ökar diariseringsfelen vid överlappande tal, mycket korta inpass, liknande röster och mikrofoner på avstånd. Räkna med att granska talaretiketterna och byta namn på dem efter mötet.

När precisionen sjunker

Räkna med sämre resultat när:

• Deltagarna byter språk flera gånger i en kort mening.
• Namn, produkttermer och förkortningar blandas in i ett annat språks grammatik.
• Ett språk eller en dialekt inte finns med på leverantörens lista för det valda läget.
• Flera personer pratar samtidigt, eller rummet har eko och bakgrundsljud.
• En inspelning bearbetas med identifiering av ett enda språk trots att stora delar är på ett andra språk.
• Starka regionala dialekter, till exempel talspråkliga varianter av arabiska, skiljer sig från träningsdata.

En transkription kan se flytande ut och ändå vara fel. Talmodeller gör ibland om ett främmande ord till ett liknande ord på huvudspråket.

Ett praktiskt arbetssätt för flerspråkiga möten

1. Bestäm huvudspråket. Om ett språk dominerar, planera utifrån det och använd inställningar för ett språk där de finns.
2. Använd det flerspråkiga läget medvetet. För livesessioner som verkligen blandar språk som stöds väljer du alternativet Flerspråkig i live-textningen.
3. Förbättra ljudet. Använd en bra mikrofon, minska sidosamtal och be deltagarna att inte prata i mun på varandra.
4. Presentera talarna. En snabb namnrunda i början gör det lättare att granska talarna.
5. Granska innan du delar. Kontrollera avsnitt med språkväxlingar, namn och siffror, byt sedan namn på talarna och korrigera segmenten.
6. Översätt efter granskningen. Att översätta en korrigerad transkription ger bättre resultat än att översätta okorrigerade fel.

Så testar du innan du förlitar dig på det

Gör ett litet, ärligt test med dina egna möten i stället för att lita på en demo:

1. Spela in tio till femton minuter av ett realistiskt möte med dina vanliga deltagare, mikrofoner och språkblandning.
2. Skriv en noggrann referenstranskription av två eller tre minuter med täta språkväxlingar.
3. Jämför AI-transkriptionen med din referens. Räkna saknade ord, felaktiga ord och avsnitt med språkväxling som återgetts på fel språk.
4. Kontrollera talaretiketterna separat från orden.
5. Upprepa testet med en inställning för ett språk och, där det är tillämpligt, med alternativet Flerspråkig i live-textningen.
6. Testa igen när din ljudutrustning eller språkblandning ändras.

Om felen främst gäller namn och termer blir granskningsarbetet litet. Om hela avsnitt på det andra språket saknas passar den konfigurationen inte för mötet.

Leverantörens förmåga jämfört med ClearScribes funktion

Sammanfattning

AI kan transkribera flerspråkiga möten, och flerspråkiga modeller blir snabbt bättre. Den avgörande frågan är om en produkt bara identifierar ett dominerande språk eller faktiskt följer växlingarna. I dag följer ClearScribe växlingarna i alternativet Flerspråkig i live-textningen för de angivna språken, medan inspelade möten använder identifiering av det dominerande språket med talardiarisering. Testa med ditt eget ljud, granska transkriptionen och välj det läge som passar hur ditt team faktiskt pratar.

Källor

• Deepgrams dokumentation: Multilingual Code Switching
• Deepgrams dokumentation: Language Detection
• Deepgrams dokumentation: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. et al.: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741