参会者在多种语言之间切换时,AI 能转写会议吗?

通常可以。准确度取决于系统是只检测一种主要语言,还是能跟随每一次切换。本文介绍语音 AI 能做什么、在哪些情况下会出错,以及 ClearScribe 目前支持哪些功能。

很多会议并不只用一种语言。贝鲁特的产品团队可能在一句话里就在阿拉伯语、法语和英语之间来回切换。一通销售电话可能以西班牙语开头、以英语结束。一家家族企业可能全程夹杂着印地语和英语。在这种情况下,AI 还能生成可用的转写稿吗?

简短回答: 通常可以,但结果在很大程度上取决于语音识别系统的配置方式。有些系统会为整段录音只检测一种主要语言;另一些系统则专门设计为逐词跟随语言切换。弄清楚自己用的是哪一种,比任何营销宣传都重要。

语码转换对语音识别意味着什么

在同一段对话中切换语言,称为语码转换(code-switching)。研究人员通常将其分为两类:

  • 句与句之间: 一个人用英语说完一句话,下一句换成法语。
  • 一句话之内: “周五之前要拿到 facture,yalla,我们把它搞定。”

最近一篇关于端到端语音识别研究的系统性综述指出,句内切换是语音系统面临的最难情形,也是大多数研究关注的重点。模型必须在同一时刻识别两种语言的发音、词汇和语法,而且说话人常常带着受第三种语言影响的口音。

语言检测不等于跟随每一次切换

服务商提供的两项功能经常被混为一谈。

自动语言检测 会识别录音中的主要语言,并用该语言转写音频。Deepgram 的文档对 detect_language 的描述是:它适用于预先录制的音频,并为每个音频声道返回一种检测到的语言。如果每段录音大部分都使用一种你事先没有指定的语言,它的效果非常好;但它并不是为报告同一声道内的多种语言而设计的。

支持语码转换的多语言模式 则不同。在 Deepgram Nova-3 中,设置 language=multi 会使用一个多语言模型,在语言变化时继续转写,并为每个词标注语言代码。它同时支持预录音频和流式音频,还可以通过可选的语言提示,让模型更偏向你预期会出现的语言。

如果某个工具只能检测一种语言,那么一场 70% 英语、30% 阿拉伯语的会议通常会被当作英语来转写,阿拉伯语部分可能会不准确、只是近似,甚至直接缺失。

ClearScribe 目前的做法

ClearScribe 的网页平台使用 Deepgram Nova-3,但不同功能的使用方式不同。以下介绍的是当前的实际实现,而不是服务商理论上能做到的一切。

录制和上传的会议。 ClearScribe 在处理会议音频时,会请求自动语言检测、说话人分离和语句切分。转写稿会为这段录音保存一种检测到的语言。当一种语言明显占主导时,效果最好。ClearScribe 目前不会在录制会议的转写稿中标注每一次语言切换,因此不要指望每次切换都能被自动、可靠地识别出来。

实时字幕。 ClearScribe 实时字幕 提供 多语言 选项,它使用 Deepgram Nova-3 的多语言模式,并采用更短的语句结束检测,以适应语码转换。ClearScribe 当前的配置为该选项列出了十种语言:英语、西班牙语、法语、德语、印地语、俄语、葡萄牙语、日语、意大利语和荷兰语。如果会议只使用一种语言,通常直接选择该语言效果更好。

转写完成之后。 你可以 翻译转写稿并跨语言工作,重命名说话人、修正说话人分配,并生成 摘要和待办事项。完整的支持语言列表请查看 ClearScribe 全球语言支持。

多语言会议中的说话人分离

说话人分离回答的是“谁在什么时候说话”,而不是“说的是哪种语言”。Deepgram 的说话人分离会为每个词分配一个说话人编号,ClearScribe 再将这些编号转换为“说话人 1”“说话人 2”这样的编号标签。Deepgram 称其说话人分离与语言无关,因此原则上,一个人切换语言后仍会保持同一个标签。

在实际使用中,话语重叠、非常简短的插话、相似的嗓音以及距离较远的麦克风,都会增加说话人分离的错误。请预留时间在会后检查说话人标签并重新命名。

准确度在哪些情况下会下降

在以下情况下,预计结果会变差:

  • 参会者在一句短句中多次切换语言。
  • 人名、产品术语和缩写被夹在另一种语言的语法里。
  • 某种语言或方言不在服务商为所选模式提供支持的列表中。
  • 多人同时说话,或者会议室有回声和背景噪音。
  • 录音中很大一部分是第二种语言,却按单一语言检测来处理。
  • 地域性很强的方言(例如阿拉伯语的口语变体)与训练数据存在差异。

转写稿可能读起来很通顺,但内容仍然是错的。语音模型有时会把一个外语单词转成主要语言中发音相近的词。

多语言会议的实用工作流程

  1. 确定主要语言。 如果某种语言占主导,就围绕它来安排,并在可用时使用单一语言设置。
  2. 有意识地使用多语言模式。 对于确实混用受支持语言的实时会议,请在实时字幕中选择多语言选项。
  3. 改善音频质量。 使用好的麦克风,减少私下交谈,并请参会者不要同时说话。
  4. 介绍说话人。 开场时简单报一下名字,可以让后续核对说话人更容易。
  5. 分享前先审阅。 检查语言切换的段落、人名和数字,然后重命名说话人并修正片段。
  6. 审阅后再翻译。 翻译修正后的转写稿,效果会好于直接翻译带有错误的原稿。

在依赖它之前如何测试

与其相信演示,不如用自己的会议做一次小而真实的测试:

  1. 用平时的参会者、麦克风和语言组合,录制一段十到十五分钟的真实会议。
  2. 选取两到三分钟语言切换频繁的片段,认真写出一份参考转写稿。
  3. 将 AI 转写稿与参考稿进行对比。统计缺失的词、错误的词,以及被写成错误语言的切换片段。
  4. 将说话人标签与文字内容分开检查。
  5. 用单一语言设置重复测试,并在适用时用实时字幕的多语言选项再测一次。
  6. 每当音频设备或语言组合发生变化时,重新测试。

如果错误主要集中在人名和术语上,审阅工作量会很小。如果第二种语言的整段内容缺失,说明该配置不适合这场会议。

服务商能力与 ClearScribe 功能对比

能力Deepgram(服务商)ClearScribe 现状
主要语言检测预录音频,每个声道一种语言用于录制和上传的会议
支持语码转换的转写Nova-3 的 language=multi,支持预录和流式由实时字幕的多语言选项使用
逐词语言标签在多语言模式下返回录制会议的转写稿中不以片段标签形式显示
说话人分离为每个词分配说话人编号已为录制会议启用
语言提示可选的 language_hint 值目前未配置

总结

AI 可以转写多语言会议,而且多语言模型正在快速进步。关键问题在于,一款产品是只检测一种主要语言,还是真正跟随语言切换。目前,ClearScribe 在实时字幕的多语言选项中针对所列语言跟随语言切换,而录制的会议则使用主要语言检测加说话人分离。请用自己的音频进行测试、审阅转写稿,并选择最符合团队实际说话方式的模式。

参考资料

相关文章