참석자들이 언어를 바꿔 가며 말하는 회의도 AI가 받아쓸 수 있을까요?

모든 회의가 한 가지 언어로만 진행되지는 않습니다. 베이루트의 제품 팀은 한 문장 안에서 아랍어, 프랑스어, 영어를 오갈 수 있습니다. 영업 통화가 스페인어로 시작해 영어로 끝나기도 합니다. 가족 기업에서는 힌디어와 영어가 처음부터 끝까지 섞이기도 합니다. 이런 경우에도 AI가 쓸 만한 전사본을 만들 수 있을까요?

짧은 답: 대부분 가능하지만, 결과는 음성 인식 시스템을 어떻게 설정했는지에 크게 좌우됩니다. 어떤 시스템은 녹음 전체에 대해 하나의 주요 언어만 감지합니다. 다른 시스템은 언어 전환을 단어 단위로 따라가도록 설계되어 있습니다. 내가 어떤 시스템을 쓰고 있는지 아는 것이 어떤 마케팅 문구보다 중요합니다.

코드 스위칭이 음성 인식에 의미하는 것

같은 대화 안에서 언어를 오가는 것을 코드 스위칭(code-switching)이라고 합니다. 연구자들은 보통 두 가지 유형을 구분합니다.

• 문장과 문장 사이: 한 사람이 영어로 문장을 마치고, 다음 문장은 프랑스어로 말합니다.
• 한 문장 안: "금요일 전까지 facture 필요해요, yalla, 마무리합시다."

엔드투엔드 음성 인식 연구를 다룬 최근의 체계적 문헌 고찰에 따르면, 문장 안에서의 전환은 음성 시스템에 가장 어려운 경우이며 대부분의 연구가 이 경우에 초점을 맞추고 있습니다. 모델은 두 언어의 소리, 어휘, 문법을 동시에 인식해야 하고, 그 말은 종종 제3의 언어에 영향을 받은 억양으로 발음됩니다.

언어 감지는 모든 전환을 따라가는 것과 다릅니다

공급업체가 제공하는 두 가지 기능은 자주 혼동됩니다.

자동 언어 감지는 녹음의 주요 언어를 파악하고 그 언어로 오디오를 받아씁니다. Deepgram 문서는 detect_language를 이렇게 설명합니다. 미리 녹음된 오디오에서 작동하며, 오디오 채널마다 감지된 언어 하나를 반환합니다. 각 녹음이 미리 지정하지 않은 한 가지 언어로 대부분 이루어져 있을 때는 매우 유용하지만, 한 채널 안의 여러 언어를 보고하도록 설계된 기능은 아닙니다.

코드 스위칭을 지원하는 다국어 모드는 다릅니다. Deepgram Nova-3에서 language=multi 설정은 언어가 바뀌어도 계속 받아쓰고 단어마다 언어 코드를 붙이는 다국어 모델을 사용합니다. 녹음된 오디오와 스트리밍 모두에서 작동하며, 선택 사항인 언어 힌트로 예상되는 언어 쪽으로 모델을 유도할 수도 있습니다.

도구가 한 가지 언어만 감지한다면, 영어 70%와 아랍어 30%로 진행된 회의는 보통 영어로 받아써지고, 아랍어 부분은 부정확하거나 비슷한 소리로 대체되거나 아예 누락될 수 있습니다.

현재 ClearScribe가 하는 일

ClearScribe 웹 플랫폼은 Deepgram Nova-3를 사용하지만, 기능에 따라 사용하는 방식이 다릅니다. 아래 내용은 공급업체가 이론상 할 수 있는 모든 것이 아니라 현재의 구현 방식입니다.

녹음하거나 업로드한 회의. ClearScribe는 회의 오디오를 처리할 때 자동 언어 감지, 화자 분리, 발화 단위 분할을 요청합니다. 전사본에는 해당 녹음에 대해 감지된 언어 하나가 저장됩니다. 한 언어가 분명하게 우세할 때 가장 잘 작동합니다. 현재 ClearScribe는 녹음된 회의 전사본 안에서 언어 전환을 하나하나 표시하지 않으므로, 모든 전환이 자동으로 정확하게 인식되리라고 기대하지 마세요.

실시간 자막. ClearScribe 실시간 자막에는 Deepgram Nova-3의 다국어 모드를 사용하는 다국어 옵션이 있으며, 코드 스위칭에 맞게 발화 종료 감지 시간이 더 짧게 설정되어 있습니다. 현재 ClearScribe 설정에는 이 옵션의 대상 언어로 10개 언어가 지정되어 있습니다: 영어, 스페인어, 프랑스어, 독일어, 힌디어, 러시아어, 포르투갈어, 일본어, 이탈리아어, 네덜란드어. 회의에서 한 가지 언어만 사용한다면 보통 그 언어를 직접 선택하는 편이 더 좋습니다.

전사 이후. 전사본을 번역하고 여러 언어로 작업할 수 있으며, 화자 이름 변경, 화자 지정 수정, 요약과 실행 항목 생성도 가능합니다. 지원 언어 전체 목록은 ClearScribe 글로벌 언어 지원에서 확인하세요.

다국어 회의에서의 화자 분리

화자 분리는 "누가 언제 말했는가"에 답하는 기능이지, "어떤 언어로 말했는가"에 답하는 기능이 아닙니다. Deepgram의 화자 분리는 각 단어에 화자 번호를 붙이고, ClearScribe는 이 번호를 화자 1, 화자 2 같은 번호 레이블로 바꿉니다. Deepgram은 자사의 화자 분리가 언어와 무관하다고 설명하므로, 원칙적으로는 언어를 바꾼 사람도 같은 레이블을 유지합니다.

실제로는 말이 겹치거나, 아주 짧게 끼어들거나, 목소리가 비슷하거나, 마이크가 멀리 있을 때 화자 분리 오류가 늘어납니다. 회의가 끝난 뒤 화자 레이블을 검토하고 이름을 바꾸는 시간을 계획해 두세요.

정확도가 떨어지는 경우

다음과 같은 경우에는 결과가 약해질 수 있다고 예상하세요.

• 짧은 문장 안에서 언어를 여러 번 바꿉니다.
• 이름, 제품 용어, 약어가 다른 언어의 문법 속에 섞여 쓰입니다.
• 언어나 방언이 선택한 모드에 대해 공급업체가 지원하는 목록에 없습니다.
• 여러 사람이 동시에 말하거나, 회의실에 울림과 배경 소음이 있습니다.
• 녹음의 상당 부분이 두 번째 언어인데 단일 언어 감지로 처리됩니다.
• 아랍어 구어체 변종처럼 지역색이 강한 방언이 학습 데이터와 다릅니다.

전사본은 매끄러워 보여도 틀릴 수 있습니다. 음성 모델은 때때로 외국어 단어를 주요 언어의 비슷한 소리 단어로 바꿔 버립니다.

다국어 회의를 위한 실용적인 작업 흐름

1. 주요 언어를 정하세요. 한 언어가 우세하다면 그 언어를 기준으로 계획하고, 가능하면 단일 언어 설정을 사용하세요.
2. 다국어 모드는 의도적으로 사용하세요. 지원 언어가 실제로 섞이는 실시간 세션에서는 실시간 자막의 다국어 옵션을 선택하세요.
3. 오디오 품질을 높이세요. 좋은 마이크를 사용하고, 잡담을 줄이고, 참석자들에게 말을 겹치지 않도록 요청하세요.
4. 화자를 소개하세요. 시작할 때 간단히 이름을 말하면 화자 검토가 쉬워집니다.
5. 공유하기 전에 검토하세요. 언어가 바뀌는 구간, 이름, 숫자를 확인한 뒤 화자 이름을 바꾸고 구간을 수정하세요.
6. 검토 후에 번역하세요. 수정된 전사본을 번역하는 것이 오류가 남은 원본을 번역하는 것보다 결과가 좋습니다.

믿고 쓰기 전에 테스트하는 방법

데모를 믿기보다 실제 회의로 작고 정직한 테스트를 해 보세요.

1. 평소 참석자, 마이크, 언어 조합으로 실제와 비슷한 회의를 10~15분 녹음하세요.
2. 언어 전환이 잦은 2~3분 구간에 대해 꼼꼼하게 기준 전사본을 작성하세요.
3. AI 전사본을 기준 전사본과 비교하세요. 빠진 단어, 틀린 단어, 잘못된 언어로 적힌 전환 구간의 수를 세어 보세요.
4. 화자 레이블은 단어와 따로 확인하세요.
5. 단일 언어 설정으로도 테스트하고, 해당되는 경우 실시간 자막의 다국어 옵션으로도 같은 테스트를 반복하세요.
6. 오디오 환경이나 언어 조합이 바뀔 때마다 다시 테스트하세요.

오류가 이름과 용어에 몰려 있다면 검토 부담은 작습니다. 두 번째 언어로 된 구간이 통째로 빠져 있다면, 그 설정은 해당 회의에 맞지 않습니다.

공급업체의 기능과 ClearScribe의 기능 비교

정리

AI는 다국어 회의를 받아쓸 수 있으며, 다국어 모델은 빠르게 발전하고 있습니다. 핵심은 제품이 하나의 주요 언어만 감지하는지, 아니면 실제로 전환을 따라가는지입니다. 현재 ClearScribe는 목록에 있는 언어에 대해 실시간 자막의 다국어 옵션에서 전환을 따라가고, 녹음된 회의에는 화자 분리와 함께 주요 언어 감지를 사용합니다. 직접 녹음한 오디오로 테스트하고, 전사본을 검토하고, 팀이 실제로 말하는 방식에 맞는 모드를 선택하세요.

출처

• Deepgram 문서: Multilingual Code Switching
• Deepgram 문서: Language Detection
• Deepgram 문서: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. 외: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741