参会者在多种语言之间切换时,AI 能转写会议吗?
通常可以。准确度取决于系统是只检测一种主要语言,还是能跟随每一次切换。本文介绍语音 AI 能做什么、在哪些情况下会出错,以及 ClearScribe 目前支持哪些功能。
很多会议并不只用一种语言。贝鲁特的产品团队可能在一句话里就在阿拉伯语、法语和英语之间来回切换。一通销售电话可能以西班牙语开头、以英语结束。一家家族企业可能全程夹杂着印地语和英语。在这种情况下,AI 还能生成可用的转写稿吗?
简短回答: 通常可以,但结果在很大程度上取决于语音识别系统的配置方式。有些系统会为整段录音只检测一种主要语言;另一些系统则专门设计为逐词跟随语言切换。弄清楚自己用的是哪一种,比任何营销宣传都重要。
语码转换对语音识别意味着什么
在同一段对话中切换语言,称为语码转换(code-switching)。研究人员通常将其分为两类:
- 句与句之间: 一个人用英语说完一句话,下一句换成法语。
- 一句话之内: “周五之前要拿到 facture,yalla,我们把它搞定。”
最近一篇关于端到端语音识别研究的系统性综述指出,句内切换是语音系统面临的最难情形,也是大多数研究关注的重点。模型必须在同一时刻识别两种语言的发音、词汇和语法,而且说话人常常带着受第三种语言影响的口音。
语言检测不等于跟随每一次切换
服务商提供的两项功能经常被混为一谈。
自动语言检测 会识别录音中的主要语言,并用该语言转写音频。Deepgram 的文档对 detect_language 的描述是:它适用于预先录制的音频,并为每个音频声道返回一种检测到的语言。如果每段录音大部分都使用一种你事先没有指定的语言,它的效果非常好;但它并不是为报告同一声道内的多种语言而设计的。
支持语码转换的多语言模式 则不同。在 Deepgram Nova-3 中,设置 language=multi 会使用一个多语言模型,在语言变化时继续转写,并为每个词标注语言代码。它同时支持预录音频和流式音频,还可以通过可选的语言提示,让模型更偏向你预期会出现的语言。
如果某个工具只能检测一种语言,那么一场 70% 英语、30% 阿拉伯语的会议通常会被当作英语来转写,阿拉伯语部分可能会不准确、只是近似,甚至直接缺失。
ClearScribe 目前的做法
ClearScribe 的网页平台使用 Deepgram Nova-3,但不同功能的使用方式不同。以下介绍的是当前的实际实现,而不是服务商理论上能做到的一切。
录制和上传的会议。 ClearScribe 在处理会议音频时,会请求自动语言检测、说话人分离和语句切分。转写稿会为这段录音保存一种检测到的语言。当一种语言明显占主导时,效果最好。ClearScribe 目前不会在录制会议的转写稿中标注每一次语言切换,因此不要指望每次切换都能被自动、可靠地识别出来。
实时字幕。 ClearScribe 实时字幕 提供 多语言 选项,它使用 Deepgram Nova-3 的多语言模式,并采用更短的语句结束检测,以适应语码转换。ClearScribe 当前的配置为该选项列出了十种语言:英语、西班牙语、法语、德语、印地语、俄语、葡萄牙语、日语、意大利语和荷兰语。如果会议只使用一种语言,通常直接选择该语言效果更好。
转写完成之后。 你可以 翻译转写稿并跨语言工作,重命名说话人、修正说话人分配,并生成 摘要和待办事项。完整的支持语言列表请查看 ClearScribe 全球语言支持。
多语言会议中的说话人分离
说话人分离回答的是“谁在什么时候说话”,而不是“说的是哪种语言”。Deepgram 的说话人分离会为每个词分配一个说话人编号,ClearScribe 再将这些编号转换为“说话人 1”“说话人 2”这样的编号标签。Deepgram 称其说话人分离与语言无关,因此原则上,一个人切换语言后仍会保持同一个标签。
在实际使用中,话语重叠、非常简短的插话、相似的嗓音以及距离较远的麦克风,都会增加说话人分离的错误。请预留时间在会后检查说话人标签并重新命名。
准确度在哪些情况下会下降
在以下情况下,预计结果会变差:
- 参会者在一句短句中多次切换语言。
- 人名、产品术语和缩写被夹在另一种语言的语法里。
- 某种语言或方言不在服务商为所选模式提供支持的列表中。
- 多人同时说话,或者会议室有回声和背景噪音。
- 录音中很大一部分是第二种语言,却按单一语言检测来处理。
- 地域性很强的方言(例如阿拉伯语的口语变体)与训练数据存在差异。
转写稿可能读起来很通顺,但内容仍然是错的。语音模型有时会把一个外语单词转成主要语言中发音相近的词。
多语言会议的实用工作流程
- 确定主要语言。 如果某种语言占主导,就围绕它来安排,并在可用时使用单一语言设置。
- 有意识地使用多语言模式。 对于确实混用受支持语言的实时会议,请在实时字幕中选择多语言选项。
- 改善音频质量。 使用好的麦克风,减少私下交谈,并请参会者不要同时说话。
- 介绍说话人。 开场时简单报一下名字,可以让后续核对说话人更容易。
- 分享前先审阅。 检查语言切换的段落、人名和数字,然后重命名说话人并修正片段。
- 审阅后再翻译。 翻译修正后的转写稿,效果会好于直接翻译带有错误的原稿。
在依赖它之前如何测试
与其相信演示,不如用自己的会议做一次小而真实的测试:
- 用平时的参会者、麦克风和语言组合,录制一段十到十五分钟的真实会议。
- 选取两到三分钟语言切换频繁的片段,认真写出一份参考转写稿。
- 将 AI 转写稿与参考稿进行对比。统计缺失的词、错误的词,以及被写成错误语言的切换片段。
- 将说话人标签与文字内容分开检查。
- 用单一语言设置重复测试,并在适用时用实时字幕的多语言选项再测一次。
- 每当音频设备或语言组合发生变化时,重新测试。
如果错误主要集中在人名和术语上,审阅工作量会很小。如果第二种语言的整段内容缺失,说明该配置不适合这场会议。
服务商能力与 ClearScribe 功能对比
| 能力 | Deepgram(服务商) | ClearScribe 现状 |
|---|---|---|
| 主要语言检测 | 预录音频,每个声道一种语言 | 用于录制和上传的会议 |
| 支持语码转换的转写 | Nova-3 的 language=multi,支持预录和流式 | 由实时字幕的多语言选项使用 |
| 逐词语言标签 | 在多语言模式下返回 | 录制会议的转写稿中不以片段标签形式显示 |
| 说话人分离 | 为每个词分配说话人编号 | 已为录制会议启用 |
| 语言提示 | 可选的 language_hint 值 | 目前未配置 |
总结
AI 可以转写多语言会议,而且多语言模型正在快速进步。关键问题在于,一款产品是只检测一种主要语言,还是真正跟随语言切换。目前,ClearScribe 在实时字幕的多语言选项中针对所列语言跟随语言切换,而录制的会议则使用主要语言检测加说话人分离。请用自己的音频进行测试、审阅转写稿,并选择最符合团队实际说话方式的模式。
参考资料
- Deepgram 文档:Multilingual Code Switching
- Deepgram 文档:Language Detection
- Deepgram 文档:Diarization
- Deepgram:What is speaker diarization?
- Agro, M. T. 等:Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review,arXiv:2507.07741