A IA consegue transcrever uma reunião quando as pessoas alternam entre idiomas?

Muitas reuniões não acontecem em um único idioma. Uma equipe de produto em Beirute pode alternar entre árabe, francês e inglês em uma mesma frase. Uma ligação de vendas pode começar em espanhol e terminar em inglês. Uma empresa familiar pode misturar hindi e inglês o tempo todo. A IA ainda consegue produzir uma transcrição útil?

Resposta curta: muitas vezes sim, mas o resultado depende muito de como o sistema de reconhecimento de fala está configurado. Alguns sistemas detectam um único idioma principal para a gravação inteira. Outros foram criados para acompanhar as trocas de idioma palavra por palavra. Saber qual deles você está usando importa mais do que qualquer promessa de marketing.

O que a alternância de código significa para o reconhecimento de fala

Trocar de idioma dentro da mesma conversa se chama alternância de código (code-switching). Os pesquisadores costumam separar dois tipos:

• Entre frases: uma pessoa termina uma frase em inglês, e a frase seguinte está em francês.
• Dentro de uma frase: "Precisamos da facture até sexta, yalla, vamos fechar isso."

Uma revisão sistemática recente das pesquisas sobre reconhecimento de fala de ponta a ponta observa que a troca dentro de uma frase é o caso mais difícil para os sistemas de voz e o foco da maioria dos estudos. O modelo precisa reconhecer sons, vocabulário e gramática de dois idiomas ao mesmo tempo, muitas vezes falados com um sotaque influenciado por um terceiro.

Detectar o idioma não é o mesmo que acompanhar cada troca

Dois recursos oferecidos pelos provedores costumam ser confundidos.

A detecção automática de idioma identifica o idioma dominante de uma gravação e transcreve o áudio nesse idioma. A documentação da Deepgram descreve o detect_language assim: ele funciona com áudio pré-gravado e retorna um idioma detectado por canal de áudio. É excelente quando cada gravação está majoritariamente em um idioma que você não informou com antecedência, mas não foi feito para indicar vários idiomas dentro de um mesmo canal.

O modo multilíngue com alternância de código é diferente. Com o Deepgram Nova-3, a configuração language=multi usa um modelo multilíngue que continua transcrevendo quando o idioma muda e marca cada palavra com um código de idioma. Ele funciona com áudio pré-gravado e em streaming, e dicas de idioma opcionais podem direcionar o modelo para os idiomas esperados.

Se uma ferramenta detecta apenas um idioma, uma reunião com 70% de inglês e 30% de árabe normalmente será transcrita como inglês, e os trechos em árabe podem sair imprecisos, aproximados ou ausentes.

O que o ClearScribe faz hoje

A plataforma web do ClearScribe usa o Deepgram Nova-3, mas de formas diferentes conforme o recurso. Esta é a implementação atual, não tudo o que o provedor poderia fazer em teoria.

Reuniões gravadas e enviadas. Quando o ClearScribe processa o áudio de uma reunião, ele solicita detecção automática de idioma, diarização de falantes e segmentação em enunciados. A transcrição armazena um único idioma detectado para a gravação. Isso funciona melhor quando um idioma predomina claramente. Atualmente, o ClearScribe não marca cada troca de idioma dentro da transcrição de uma reunião gravada, então não espere que cada troca seja reconhecida de forma automática e confiável.

Legendas ao vivo. As Legendas ao vivo do ClearScribe incluem a opção Multilíngue, que usa o modo multilíngue do Deepgram Nova-3, com uma detecção de fim de fala mais curta, adequada à alternância de código. A configuração atual do ClearScribe lista dez idiomas para essa opção: inglês, espanhol, francês, alemão, hindi, russo, português, japonês, italiano e holandês. Se a sua reunião usa apenas um idioma, normalmente é melhor selecionar esse idioma diretamente.

Depois da transcrição. Você pode traduzir transcrições e trabalhar em vários idiomas, renomear falantes, corrigir a atribuição de falantes e gerar resumos e itens de ação. Para ver a lista completa de idiomas compatíveis, consulte o suporte global a idiomas do ClearScribe.

Diarização de falantes em reuniões multilíngues

A diarização responde a "quem falou e quando", não a "qual idioma foi falado". A diarização da Deepgram atribui um número de falante a cada palavra, e o ClearScribe transforma esses números em rótulos numerados, como Falante 1 e Falante 2. A Deepgram descreve sua diarização como independente de idioma, então, em princípio, uma pessoa que troca de idioma mantém o mesmo rótulo.

Na prática, os erros de diarização aumentam com falas sobrepostas, interjeições muito curtas, vozes parecidas e microfones distantes. Planeje revisar os rótulos dos falantes e renomeá-los depois da reunião.

Quando a precisão cai

Espere resultados piores quando:

• As pessoas trocam de idioma várias vezes em uma frase curta.
• Nomes, termos de produto e siglas são misturados à gramática de outro idioma.
• Um idioma ou dialeto não está na lista compatível do provedor para o modo selecionado.
• Várias pessoas falam ao mesmo tempo, ou a sala tem eco e ruído de fundo.
• Uma gravação é processada com detecção de um único idioma enquanto grande parte está em um segundo idioma.
• Dialetos regionais fortes, como as variedades coloquiais do árabe, diferem dos dados de treinamento.

Uma transcrição pode parecer fluente e ainda assim estar errada. Às vezes, os modelos de fala transformam uma palavra estrangeira em uma palavra de som parecido do idioma principal.

Um fluxo de trabalho prático para reuniões multilíngues

1. Defina o idioma principal. Se um idioma predomina, planeje em torno dele e use configurações de idioma único quando estiverem disponíveis.
2. Use o modo multilíngue de forma intencional. Em sessões ao vivo que realmente misturam idiomas compatíveis, escolha a opção Multilíngue nas Legendas ao vivo.
3. Melhore o áudio. Use um bom microfone, reduza as conversas paralelas e peça aos participantes que não falem ao mesmo tempo.
4. Apresente os falantes. Uma rodada rápida de nomes no início facilita a revisão dos falantes.
5. Revise antes de compartilhar. Confira os trechos com troca de idioma, os nomes e os números; depois renomeie os falantes e corrija os segmentos.
6. Traduza depois da revisão. Traduzir uma transcrição corrigida gera resultados melhores do que traduzir erros não corrigidos.

Como testar antes de confiar

Faça um teste pequeno e honesto com as suas próprias reuniões, em vez de confiar em uma demonstração:

1. Grave de dez a quinze minutos de uma reunião realista com os participantes, microfones e mistura de idiomas de sempre.
2. Escreva com cuidado uma transcrição de referência de dois ou três minutos que tenham trocas frequentes.
3. Compare a transcrição da IA com a sua referência. Conte as palavras ausentes, as palavras erradas e os trechos com troca de idioma transcritos no idioma errado.
4. Verifique os rótulos dos falantes separadamente das palavras.
5. Repita o teste com uma configuração de idioma único e, quando for o caso, com a opção Multilíngue das Legendas ao vivo.
6. Teste de novo sempre que a sua configuração de áudio ou a mistura de idiomas mudar.

Se os erros se concentram em nomes e termos, o esforço de revisão será pequeno. Se trechos inteiros no segundo idioma estiverem faltando, essa configuração não serve para a reunião.

Capacidade do provedor x recurso do ClearScribe

Conclusão

A IA consegue transcrever reuniões multilíngues, e os modelos multilíngues estão melhorando rapidamente. A pergunta principal é se um produto apenas detecta um idioma dominante ou se de fato acompanha as trocas. Hoje, o ClearScribe acompanha as trocas na opção Multilíngue das Legendas ao vivo para os idiomas listados, enquanto as reuniões gravadas usam a detecção do idioma dominante com diarização de falantes. Teste com o seu próprio áudio, revise a transcrição e escolha o modo que corresponde à forma como a sua equipe realmente fala.

Fontes

• Documentação da Deepgram: Multilingual Code Switching
• Documentação da Deepgram: Language Detection
• Documentação da Deepgram: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. et al.: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741