Kann KI ein Meeting transkribieren, wenn die Teilnehmenden zwischen Sprachen wechseln?

Viele Meetings finden nicht in nur einer Sprache statt. Ein Produktteam in Beirut wechselt vielleicht innerhalb eines Satzes zwischen Arabisch, Französisch und Englisch. Ein Vertriebsgespräch beginnt auf Spanisch und endet auf Englisch. Ein Familienunternehmen mischt durchgehend Hindi und Englisch. Kann KI trotzdem ein brauchbares Transkript erstellen?

Kurze Antwort: oft ja, aber das Ergebnis hängt stark davon ab, wie das Spracherkennungssystem konfiguriert ist. Manche Systeme erkennen eine einzige Hauptsprache für die gesamte Aufnahme. Andere sind darauf ausgelegt, Sprachwechseln Wort für Wort zu folgen. Zu wissen, welches System Sie verwenden, ist wichtiger als jedes Marketingversprechen.

Was Code-Switching für die Spracherkennung bedeutet

Der Wechsel zwischen Sprachen innerhalb desselben Gesprächs heißt Code-Switching. Die Forschung unterscheidet meist zwei Arten:

• Zwischen Sätzen: Eine Person beendet einen Satz auf Englisch, der nächste Satz ist auf Französisch.
• Innerhalb eines Satzes: „Wir brauchen die facture bis Freitag, yalla, lass es uns abschließen.“

Eine aktuelle systematische Übersichtsarbeit zur End-to-End-Spracherkennung hält fest, dass der Wechsel innerhalb eines Satzes für Sprachsysteme der schwierigste Fall ist und im Mittelpunkt der meisten Studien steht. Das Modell muss Laute, Wortschatz und Grammatik zweier Sprachen im selben Moment erkennen, oft gesprochen mit einem Akzent, der von einer dritten Sprache geprägt ist.

Spracherkennung ist nicht dasselbe wie das Verfolgen jedes Wechsels

Zwei Funktionen der Anbieter werden häufig verwechselt.

Die automatische Spracherkennung bestimmt die dominante Sprache einer Aufnahme und transkribiert das Audio in dieser Sprache. Die Dokumentation von Deepgram beschreibt detect_language so: Die Funktion arbeitet mit vorab aufgezeichnetem Audio und liefert pro Audiokanal eine erkannte Sprache. Sie ist hervorragend, wenn jede Aufnahme überwiegend in einer Sprache ist, die Sie nicht vorab angegeben haben, aber sie ist nicht dafür gedacht, mehrere Sprachen innerhalb eines Kanals auszuweisen.

Der mehrsprachige Code-Switching-Modus funktioniert anders. Bei Deepgram Nova-3 nutzt die Einstellung language=multi ein mehrsprachiges Modell, das beim Sprachwechsel weiter transkribiert und jedes Wort mit einem Sprachcode versieht. Es funktioniert für aufgezeichnetes Audio und Streaming, und optionale Sprachhinweise können das Modell auf die erwarteten Sprachen ausrichten.

Erkennt ein Werkzeug nur eine Sprache, wird ein Meeting mit 70 % Englisch und 30 % Arabisch in der Regel als Englisch transkribiert, und die arabischen Passagen können ungenau, nur annähernd oder gar nicht erfasst sein.

Was ClearScribe heute tut

Die Webplattform von ClearScribe nutzt Deepgram Nova-3, allerdings je nach Funktion auf unterschiedliche Weise. Hier geht es um die aktuelle Implementierung, nicht um alles, was der Anbieter theoretisch leisten könnte.

Aufgezeichnete und hochgeladene Meetings. Wenn ClearScribe Meeting-Audio verarbeitet, fordert es automatische Spracherkennung, Sprecherdiarisierung und eine Gliederung in Äußerungen an. Das Transkript speichert eine erkannte Sprache für die Aufnahme. Das funktioniert am besten, wenn eine Sprache klar dominiert. ClearScribe kennzeichnet derzeit nicht jeden Sprachwechsel innerhalb des Transkripts eines aufgezeichneten Meetings. Erwarten Sie also nicht, dass jeder Wechsel automatisch und zuverlässig erkannt wird.

Live-Untertitel. Die Live-Untertitel von ClearScribe bieten eine Option Mehrsprachig, die den mehrsprachigen Modus von Deepgram Nova-3 nutzt, mit einer kürzeren Sprechende-Erkennung, die auf Code-Switching abgestimmt ist. Die aktuelle Konfiguration von ClearScribe nennt für diese Option zehn Sprachen: Englisch, Spanisch, Französisch, Deutsch, Hindi, Russisch, Portugiesisch, Japanisch, Italienisch und Niederländisch. Wenn in Ihrem Meeting nur eine Sprache gesprochen wird, ist es meist besser, genau diese Sprache direkt auszuwählen.

Nach dem Transkript. Sie können Transkripte übersetzen und sprachübergreifend arbeiten, Sprecher umbenennen, Sprecherzuordnungen korrigieren und Zusammenfassungen und Aufgaben erstellen. Die vollständige Liste der unterstützten Sprachen finden Sie unter globale Sprachunterstützung von ClearScribe.

Sprecherdiarisierung in mehrsprachigen Meetings

Die Sprecherdiarisierung beantwortet die Frage „Wer hat wann gesprochen?“, nicht „Welche Sprache wurde gesprochen?“. Die Diarisierung von Deepgram weist jedem Wort eine Sprechernummer zu, und ClearScribe macht daraus nummerierte Bezeichnungen wie Sprecher 1 und Sprecher 2. Deepgram beschreibt seine Diarisierung als sprachunabhängig. Grundsätzlich behält also eine Person, die die Sprache wechselt, dieselbe Bezeichnung.

In der Praxis nehmen Diarisierungsfehler zu bei überlappender Sprache, sehr kurzen Zwischenrufen, ähnlichen Stimmen und weit entfernten Mikrofonen. Planen Sie daher ein, die Sprecherbezeichnungen nach dem Meeting zu prüfen und umzubenennen.

Wo die Genauigkeit nachlässt

Rechnen Sie mit schwächeren Ergebnissen, wenn:

• Personen innerhalb eines kurzen Satzes mehrmals die Sprache wechseln.
• Namen, Produktbegriffe und Abkürzungen in die Grammatik einer anderen Sprache eingebaut werden.
• Eine Sprache oder ein Dialekt nicht auf der Liste steht, die der Anbieter für den gewählten Modus unterstützt.
• Mehrere Personen gleichzeitig sprechen oder der Raum Hall und Hintergrundgeräusche hat.
• Eine Aufnahme mit Einzelsprachenerkennung verarbeitet wird, obwohl große Teile in einer zweiten Sprache sind.
• Ausgeprägte regionale Dialekte, etwa umgangssprachliche Varietäten des Arabischen, von den Trainingsdaten abweichen.

Ein Transkript kann flüssig wirken und trotzdem falsch sein. Sprachmodelle verwandeln ein fremdsprachiges Wort manchmal in ein ähnlich klingendes Wort der Hauptsprache.

Ein praktischer Ablauf für mehrsprachige Meetings

1. Legen Sie die Hauptsprache fest. Wenn eine Sprache dominiert, richten Sie sich danach und nutzen Sie Einzelsprachen-Einstellungen, wo sie verfügbar sind.
2. Setzen Sie den mehrsprachigen Modus gezielt ein. Für Live-Sitzungen, die tatsächlich unterstützte Sprachen mischen, wählen Sie die Option Mehrsprachig in den Live-Untertiteln.
3. Verbessern Sie das Audio. Verwenden Sie ein gutes Mikrofon, reduzieren Sie Nebengespräche und bitten Sie die Teilnehmenden, nicht gleichzeitig zu sprechen.
4. Stellen Sie die Sprecher vor. Eine kurze Namensrunde zu Beginn erleichtert die Überprüfung der Sprecher.
5. Prüfen Sie vor dem Teilen. Kontrollieren Sie Passagen mit Sprachwechsel, Namen und Zahlen, benennen Sie dann die Sprecher um und korrigieren Sie Abschnitte.
6. Übersetzen Sie nach der Prüfung. Ein korrigiertes Transkript zu übersetzen liefert bessere Ergebnisse, als unkorrigierte Fehler zu übersetzen.

So testen Sie, bevor Sie sich darauf verlassen

Führen Sie einen kleinen, ehrlichen Test mit Ihren eigenen Meetings durch, statt einer Demo zu vertrauen:

1. Nehmen Sie zehn bis fünfzehn Minuten eines realistischen Meetings mit Ihren üblichen Teilnehmenden, Mikrofonen und Ihrer üblichen Sprachmischung auf.
2. Erstellen Sie ein sorgfältiges Referenztranskript für zwei oder drei Minuten mit häufigen Sprachwechseln.
3. Vergleichen Sie das KI-Transkript mit Ihrer Referenz. Zählen Sie fehlende Wörter, falsche Wörter und Passagen mit Sprachwechsel, die in der falschen Sprache wiedergegeben wurden.
4. Prüfen Sie die Sprecherbezeichnungen getrennt von den Wörtern.
5. Wiederholen Sie den Test mit einer Einzelsprachen-Einstellung und, wo zutreffend, mit der Option Mehrsprachig der Live-Untertitel.
6. Testen Sie erneut, sobald sich Ihr Audio-Setup oder Ihre Sprachmischung ändert.

Konzentrieren sich die Fehler auf Namen und Fachbegriffe, ist der Prüfaufwand gering. Fehlen ganze Passagen in der zweiten Sprache, passt diese Konfiguration nicht zum Meeting.

Fähigkeit des Anbieters oder Funktion von ClearScribe

Fazit

KI kann mehrsprachige Meetings transkribieren, und mehrsprachige Modelle werden rasch besser. Entscheidend ist, ob ein Produkt nur eine dominante Sprache erkennt oder den Wechseln tatsächlich folgt. Heute folgt ClearScribe den Wechseln in der Option Mehrsprachig der Live-Untertitel für die genannten Sprachen, während aufgezeichnete Meetings die Erkennung der dominanten Sprache mit Sprecherdiarisierung nutzen. Testen Sie mit Ihrem eigenen Audio, prüfen Sie das Transkript und wählen Sie den Modus, der dazu passt, wie Ihr Team tatsächlich spricht.

Quellen

• Deepgram-Dokumentation: Multilingual Code Switching
• Deepgram-Dokumentation: Language Detection
• Deepgram-Dokumentation: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. et al.: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741