與會者在多種語言之間切換時，AI 能為會議做逐字稿嗎？

很多會議並不只使用一種語言。貝魯特的產品團隊可能在一句話裡就在阿拉伯語、法語和英語之間來回切換。一通業務電話可能以西班牙語開場、以英語結束。一家家族企業可能全程夾雜著印地語和英語。在這種情況下，AI 還能產出可用的逐字稿嗎？

簡短回答： 通常可以，但結果在很大程度上取決於語音辨識系統的設定方式。有些系統會為整段錄音只偵測一種主要語言；另一些系統則專門設計成逐字跟上語言切換。弄清楚自己用的是哪一種，比任何行銷宣傳都重要。

語碼轉換對語音辨識代表什麼

在同一段對話中切換語言，稱為語碼轉換（code-switching）。研究人員通常將它分成兩類：

• 句與句之間： 一個人用英語說完一句話，下一句換成法語。
• 一句話之內： 「星期五之前要拿到 facture，yalla，我們把它搞定。」

最近一篇關於端到端語音辨識研究的系統性文獻回顧指出，句內切換是語音系統面臨的最困難情境，也是多數研究關注的重點。模型必須在同一時間辨識兩種語言的發音、詞彙和文法，而且說話者常常帶著受第三種語言影響的口音。

語言偵測不等於跟上每一次切換

服務供應商提供的兩項功能經常被混為一談。

自動語言偵測 會辨識錄音中的主要語言，並以該語言轉寫音訊。Deepgram 的文件對 detect_language 的描述是：它適用於預先錄製的音訊，並為每個音訊聲道回傳一種偵測到的語言。如果每段錄音大多使用一種你事先沒有指定的語言，它的效果非常好；但它並不是為了回報同一聲道內的多種語言而設計的。

支援語碼轉換的多語言模式 則不同。在 Deepgram Nova-3 中，設定 language=multi 會使用多語言模型，在語言改變時持續轉寫，並為每個詞標上語言代碼。它同時支援預錄音訊與串流音訊，也可以透過選用的語言提示，讓模型偏向你預期會出現的語言。

如果某個工具只能偵測一種語言，那麼一場 70% 英語、30% 阿拉伯語的會議通常會被當成英語來轉寫，阿拉伯語的部分可能不準確、只是近似，甚至直接遺漏。

ClearScribe 目前的做法

ClearScribe 的網頁平台使用 Deepgram Nova-3，但不同功能的使用方式不同。以下說明的是目前的實際實作，而不是服務供應商理論上能做到的一切。

錄製與上傳的會議。 ClearScribe 處理會議音訊時，會要求自動語言偵測、語者分離和語句切分。逐字稿會為這段錄音儲存一種偵測到的語言。當某種語言明顯占主導時，效果最好。ClearScribe 目前不會在錄製會議的逐字稿中標示每一次語言切換，因此不要期待每次切換都能被自動且可靠地辨識出來。

即時字幕。 ClearScribe 即時字幕 提供 多語言 選項，它使用 Deepgram Nova-3 的多語言模式，並採用較短的語句結束偵測，以配合語碼轉換。ClearScribe 目前的設定為此選項列出十種語言：英語、西班牙語、法語、德語、印地語、俄語、葡萄牙語、日語、義大利語和荷蘭語。如果會議只使用一種語言，通常直接選擇該語言效果更好。

完成逐字稿之後。 你可以 翻譯逐字稿並跨語言工作，重新命名說話者、修正說話者指派，並產生 摘要與待辦事項。完整的支援語言清單請參閱 ClearScribe 全球語言支援。

多語言會議中的語者分離

語者分離回答的是「誰在什麼時候說話」，而不是「說的是哪種語言」。Deepgram 的語者分離會為每個詞指派一個說話者編號，ClearScribe 再將這些編號轉換為「說話者 1」「說話者 2」這類編號標籤。Deepgram 表示其語者分離與語言無關，因此原則上，一個人切換語言後仍會保持同一個標籤。

實際使用時，話語重疊、非常短暫的插話、相似的嗓音以及距離較遠的麥克風，都會讓語者分離的錯誤增加。請預留時間在會後檢查說話者標籤並重新命名。

準確度在哪些情況下會下降

在以下情況下，預期結果會變差：

• 與會者在一句短句中多次切換語言。
• 人名、產品術語和縮寫被夾在另一種語言的文法裡。
• 某種語言或方言不在服務供應商為所選模式提供支援的清單中。
• 多人同時說話，或會議室有回音和背景噪音。
• 錄音中很大一部分是第二種語言，卻以單一語言偵測來處理。
• 地域色彩濃厚的方言（例如阿拉伯語的口語變體）與訓練資料有所差異。

逐字稿可能讀起來很通順，內容卻仍然是錯的。語音模型有時會把外語單字轉成主要語言中發音相近的詞。

多語言會議的實用工作流程

1. 決定主要語言。 如果某種語言占主導，就以它為中心安排，並在可用時使用單一語言設定。
2. 有意識地使用多語言模式。 對於確實混用受支援語言的即時會議，請在即時字幕中選擇多語言選項。
3. 改善音訊品質。 使用好的麥克風，減少私下交談，並請與會者不要同時說話。
4. 介紹說話者。 開場時簡單報一下名字，能讓後續核對說話者更容易。
5. 分享前先審閱。 檢查語言切換的段落、人名和數字，再重新命名說話者並修正片段。
6. 審閱後再翻譯。 翻譯修正後的逐字稿，效果會比直接翻譯含有錯誤的原稿更好。

在依賴它之前如何測試

與其相信示範，不如用自己的會議做一次小而真實的測試：

1. 用平常的與會者、麥克風和語言組合，錄製一段十到十五分鐘的真實會議。
2. 挑選兩到三分鐘語言切換頻繁的片段，仔細寫出一份參考逐字稿。
3. 將 AI 逐字稿與參考稿進行比對。計算遺漏的詞、錯誤的詞，以及被寫成錯誤語言的切換片段。
4. 將說話者標籤與文字內容分開檢查。
5. 以單一語言設定重複測試，並在適用時以即時字幕的多語言選項再測一次。
6. 每當音訊設備或語言組合有所改變時，重新測試。

如果錯誤主要集中在人名和術語上，審閱的工作量會很小。如果第二種語言的整段內容遺漏，代表這個設定不適合這場會議。

服務供應商能力與 ClearScribe 功能比較

總結

AI 可以為多語言會議製作逐字稿，而且多語言模型正在快速進步。關鍵問題在於，一項產品是只偵測一種主要語言，還是真正跟上語言切換。目前，ClearScribe 在即時字幕的多語言選項中針對所列語言跟上語言切換，而錄製的會議則使用主要語言偵測搭配語者分離。請用自己的音訊進行測試、審閱逐字稿，並選擇最符合團隊實際說話方式的模式。

參考資料

• Deepgram 文件：Multilingual Code Switching
• Deepgram 文件：Language Detection
• Deepgram 文件：Diarization
• Deepgram：What is speaker diarization?
• Agro, M. T. 等：Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review，arXiv:2507.07741