Kan AI een vergadering transcriberen als deelnemers van taal wisselen?

Veel vergaderingen vinden niet in één taal plaats. Een productteam in Beiroet wisselt binnen één zin misschien tussen Arabisch, Frans en Engels. Een verkoopgesprek begint in het Spaans en eindigt in het Engels. Een familiebedrijf mengt voortdurend Hindi en Engels. Kan AI dan nog een bruikbare transcriptie maken?

Kort antwoord: vaak wel, maar het resultaat hangt sterk af van hoe het spraakherkenningssysteem is ingesteld. Sommige systemen herkennen één hoofdtaal voor de hele opname. Andere zijn ontworpen om taalwisselingen woord voor woord te volgen. Weten welk systeem je gebruikt, is belangrijker dan welke marketingbelofte ook.

Wat codewisseling betekent voor spraakherkenning

Het wisselen tussen talen binnen hetzelfde gesprek heet codewisseling (code-switching). Onderzoekers onderscheiden meestal twee vormen:

• Tussen zinnen: iemand maakt een zin af in het Engels, en de volgende zin is in het Frans.
• Binnen een zin: "We hebben de facture vóór vrijdag nodig, yalla, laten we het afronden."

Een recente systematische literatuurstudie naar end-to-end spraakherkenning stelt dat wisselen binnen een zin het moeilijkste geval is voor spraaksystemen, en ook het geval waar de meeste studies zich op richten. Het model moet op hetzelfde moment klanken, woordenschat en grammatica uit twee talen herkennen, vaak uitgesproken met een accent dat door een derde taal is gevormd.

Taaldetectie is iets anders dan elke wissel volgen

Twee functies van aanbieders worden vaak met elkaar verward.

Automatische taaldetectie bepaalt de dominante taal van een opname en transcribeert de audio in die taal. De documentatie van Deepgram beschrijft detect_language zo: de functie werkt met vooraf opgenomen audio en geeft per audiokanaal één gedetecteerde taal terug. Ze is uitstekend als elke opname grotendeels in één taal is die je niet vooraf hebt opgegeven, maar ze is niet bedoeld om meerdere talen binnen één kanaal te melden.

De meertalige codewisselmodus werkt anders. Bij Deepgram Nova-3 gebruikt de instelling language=multi een meertalig model dat blijft transcriberen wanneer de taal verandert en elk woord van een taalcode voorziet. Dit werkt voor opgenomen audio en streaming, en optionele taalhints kunnen het model sturen naar de talen die je verwacht.

Als een tool maar één taal herkent, wordt een vergadering met 70% Engels en 30% Arabisch meestal als Engels getranscribeerd, en kunnen de Arabische delen onnauwkeurig, benaderend of helemaal niet worden weergegeven.

Wat ClearScribe vandaag doet

Het webplatform van ClearScribe gebruikt Deepgram Nova-3, maar op verschillende manieren afhankelijk van de functie. Dit is de huidige implementatie, niet alles wat de aanbieder in theorie zou kunnen.

Opgenomen en geüploade vergaderingen. Wanneer ClearScribe vergaderaudio verwerkt, vraagt het automatische taaldetectie, sprekerdiarisatie en indeling in uitingen aan. De transcriptie slaat één gedetecteerde taal op voor de opname. Dit werkt het best als één taal duidelijk overheerst. ClearScribe markeert momenteel niet elke taalwissel in de transcriptie van een opgenomen vergadering, dus verwacht niet dat elke wissel automatisch en betrouwbaar wordt herkend.

Live ondertiteling. Live ondertiteling van ClearScribe heeft een optie Meertalig die de meertalige modus van Deepgram Nova-3 gebruikt, met een kortere detectie van het einde van een uiting die past bij codewisseling. De huidige configuratie van ClearScribe noemt tien talen voor deze optie: Engels, Spaans, Frans, Duits, Hindi, Russisch, Portugees, Japans, Italiaans en Nederlands. Gebruikt je vergadering maar één taal, dan kun je die taal meestal beter direct kiezen.

Na de transcriptie. Je kunt transcripties vertalen en in meerdere talen werken, sprekers hernoemen, sprekertoewijzingen corrigeren en samenvattingen en actiepunten genereren. De volledige lijst met ondersteunde talen vind je bij wereldwijde taalondersteuning van ClearScribe.

Sprekerdiarisatie in meertalige vergaderingen

Sprekerdiarisatie beantwoordt de vraag "wie sprak wanneer", niet "welke taal werd er gesproken". De diarisatie van Deepgram kent aan elk woord een sprekernummer toe, en ClearScribe zet die nummers om in genummerde labels zoals Spreker 1 en Spreker 2. Deepgram omschrijft zijn diarisatie als taalonafhankelijk, dus in principe houdt iemand die van taal wisselt hetzelfde label.

In de praktijk nemen diarisatiefouten toe bij door elkaar praten, heel korte tussenwerpsels, vergelijkbare stemmen en microfoons op afstand. Reken erop dat je de sprekerlabels na de vergadering controleert en hernoemt.

Waar de nauwkeurigheid afneemt

Verwacht zwakkere resultaten wanneer:

• Mensen binnen een korte zin meerdere keren van taal wisselen.
• Namen, producttermen en afkortingen worden opgenomen in de grammatica van een andere taal.
• Een taal of dialect buiten de lijst valt die de aanbieder voor de gekozen modus ondersteunt.
• Meerdere mensen tegelijk praten, of de ruimte galm en achtergrondgeluid heeft.
• Een opname wordt verwerkt met detectie van één taal terwijl grote delen in een tweede taal zijn.
• Sterke regionale dialecten, zoals spreektalige varianten van het Arabisch, afwijken van de trainingsdata.

Een transcriptie kan vloeiend ogen en toch onjuist zijn. Spraakmodellen veranderen een buitenlands woord soms in een gelijkklinkend woord uit de hoofdtaal.

Een praktische werkwijze voor meertalige vergaderingen

1. Bepaal de hoofdtaal. Als één taal overheerst, plan daar dan omheen en gebruik instellingen voor één taal waar die beschikbaar zijn.
2. Gebruik de meertalige modus bewust. Kies voor live sessies waarin echt ondersteunde talen door elkaar worden gebruikt de optie Meertalig in live ondertiteling.
3. Verbeter de audio. Gebruik een goede microfoon, beperk gesprekken door elkaar en vraag deelnemers niet tegelijk te praten.
4. Stel de sprekers voor. Een korte voorstelronde aan het begin maakt het controleren van sprekers makkelijker.
5. Controleer vóór het delen. Kijk passages met taalwissels, namen en getallen na, hernoem daarna de sprekers en corrigeer segmenten.
6. Vertaal na de controle. Een gecorrigeerde transcriptie vertalen levert betere resultaten op dan ruwe fouten vertalen.

Zo test je voordat je erop vertrouwt

Doe een kleine, eerlijke test met je eigen vergaderingen in plaats van op een demo te vertrouwen:

1. Neem tien tot vijftien minuten van een realistische vergadering op, met je gebruikelijke deelnemers, microfoons en taalmix.
2. Maak een zorgvuldige referentietranscriptie van twee of drie minuten met veel taalwissels.
3. Vergelijk de AI-transcriptie met je referentie. Tel ontbrekende woorden, verkeerde woorden en passages met een taalwissel die in de verkeerde taal zijn weergegeven.
4. Controleer de sprekerlabels los van de woorden.
5. Herhaal de test met een instelling voor één taal en, waar van toepassing, met de optie Meertalig van live ondertiteling.
6. Test opnieuw zodra je audio-opstelling of taalmix verandert.

Zitten de fouten vooral in namen en termen, dan is het controlewerk beperkt. Ontbreken hele passages in de tweede taal, dan past die configuratie niet bij de vergadering.

Mogelijkheid van de aanbieder versus functie van ClearScribe

Conclusie

AI kan meertalige vergaderingen transcriberen, en meertalige modellen worden snel beter. De kernvraag is of een product alleen één dominante taal herkent of de wisselingen echt volgt. Vandaag volgt ClearScribe de wisselingen in de optie Meertalig van live ondertiteling voor de genoemde talen, terwijl opgenomen vergaderingen detectie van de dominante taal met sprekerdiarisatie gebruiken. Test met je eigen audio, controleer de transcriptie en kies de modus die past bij hoe je team echt praat.

Bronnen

• Deepgram-documentatie: Multilingual Code Switching
• Deepgram-documentatie: Language Detection
• Deepgram-documentatie: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. et al.: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741