AI có thể chép lời một cuộc họp khi mọi người chuyển đổi giữa các ngôn ngữ không?

Nhiều cuộc họp không diễn ra bằng một ngôn ngữ duy nhất. Một nhóm sản phẩm ở Beirut có thể chuyển qua lại giữa tiếng Ả Rập, tiếng Pháp và tiếng Anh trong cùng một câu. Một cuộc gọi bán hàng có thể bắt đầu bằng tiếng Tây Ban Nha và kết thúc bằng tiếng Anh. Một doanh nghiệp gia đình có thể trộn tiếng Hindi và tiếng Anh suốt buổi. Liệu AI vẫn có thể tạo ra một bản chép lời dùng được?

Trả lời ngắn gọn: thường là có, nhưng kết quả phụ thuộc rất nhiều vào cách cấu hình hệ thống nhận dạng giọng nói. Một số hệ thống chỉ nhận diện một ngôn ngữ chính cho toàn bộ bản ghi. Số khác được thiết kế để theo dõi việc đổi ngôn ngữ theo từng từ. Biết mình đang dùng loại nào quan trọng hơn bất kỳ lời quảng cáo nào.

Chuyển mã ngôn ngữ có ý nghĩa gì với nhận dạng giọng nói

Việc chuyển qua lại giữa các ngôn ngữ trong cùng một cuộc trò chuyện được gọi là chuyển mã (code-switching). Các nhà nghiên cứu thường phân biệt hai dạng:

• Giữa các câu: một người nói hết câu bằng tiếng Anh, và câu tiếp theo bằng tiếng Pháp.
• Trong một câu: "Mình cần facture trước thứ Sáu, yalla, chốt luôn nhé."

Một tổng quan tài liệu có hệ thống gần đây về nghiên cứu nhận dạng giọng nói đầu-cuối (end-to-end) cho biết chuyển đổi bên trong một câu là trường hợp khó nhất đối với hệ thống giọng nói, và cũng là trọng tâm của phần lớn các nghiên cứu. Mô hình phải nhận ra âm thanh, từ vựng và ngữ pháp của hai ngôn ngữ cùng một lúc, thường còn được nói với giọng chịu ảnh hưởng của một ngôn ngữ thứ ba.

Nhận diện ngôn ngữ không giống với theo dõi từng lần chuyển đổi

Có hai tính năng của nhà cung cấp thường bị nhầm lẫn.

Tự động nhận diện ngôn ngữ xác định ngôn ngữ chủ đạo trong một bản ghi và chép lời âm thanh bằng ngôn ngữ đó. Tài liệu của Deepgram mô tả detect_language như sau: tính năng này hoạt động với âm thanh đã ghi sẵn và trả về một ngôn ngữ được nhận diện cho mỗi kênh âm thanh. Nó rất phù hợp khi mỗi bản ghi chủ yếu dùng một ngôn ngữ mà bạn chưa chỉ định trước, nhưng không được thiết kế để báo cáo nhiều ngôn ngữ trong cùng một kênh.

Chế độ đa ngôn ngữ có chuyển mã thì khác. Với Deepgram Nova-3, thiết lập language=multi sử dụng một mô hình đa ngôn ngữ tiếp tục chép lời khi ngôn ngữ thay đổi và gắn mã ngôn ngữ cho từng từ. Chế độ này hoạt động với cả âm thanh ghi sẵn lẫn phát trực tiếp, và các gợi ý ngôn ngữ tùy chọn có thể định hướng mô hình về những ngôn ngữ bạn dự kiến.

Nếu một công cụ chỉ nhận diện một ngôn ngữ, cuộc họp có 70% tiếng Anh và 30% tiếng Ả Rập thường sẽ được chép lời như tiếng Anh, và các đoạn tiếng Ả Rập có thể bị sai, chỉ gần đúng hoặc bị thiếu.

ClearScribe hiện đang làm gì

Nền tảng web của ClearScribe sử dụng Deepgram Nova-3, nhưng theo những cách khác nhau tùy từng tính năng. Dưới đây là cách triển khai hiện tại, không phải mọi điều mà nhà cung cấp về lý thuyết có thể làm.

Cuộc họp được ghi âm và tải lên. Khi ClearScribe xử lý âm thanh cuộc họp, hệ thống yêu cầu tự động nhận diện ngôn ngữ, phân tách người nói và chia thành các phát ngôn. Bản chép lời lưu một ngôn ngữ được nhận diện cho bản ghi. Cách này hiệu quả nhất khi một ngôn ngữ chiếm ưu thế rõ rệt. Hiện ClearScribe chưa gắn nhãn từng lần đổi ngôn ngữ trong bản chép lời của cuộc họp đã ghi, vì vậy đừng kỳ vọng mọi lần chuyển đổi đều được nhận ra một cách tự động và đáng tin cậy.

Phụ đề trực tiếp. Phụ đề trực tiếp của ClearScribe có tùy chọn Đa ngôn ngữ sử dụng chế độ đa ngôn ngữ của Deepgram Nova-3, với cơ chế phát hiện kết thúc câu nói ngắn hơn, phù hợp cho chuyển mã. Cấu hình hiện tại của ClearScribe liệt kê mười ngôn ngữ cho tùy chọn này: tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Hindi, tiếng Nga, tiếng Bồ Đào Nha, tiếng Nhật, tiếng Ý và tiếng Hà Lan. Nếu cuộc họp chỉ dùng một ngôn ngữ, thường tốt hơn là chọn trực tiếp ngôn ngữ đó.

Sau khi có bản chép lời. Bạn có thể dịch bản chép lời và làm việc với nhiều ngôn ngữ, đổi tên người nói, sửa phân công người nói và tạo bản tóm tắt cùng danh sách việc cần làm. Để xem danh sách đầy đủ các ngôn ngữ được hỗ trợ, hãy xem trang hỗ trợ ngôn ngữ toàn cầu của ClearScribe.

Phân tách người nói trong cuộc họp đa ngôn ngữ

Phân tách người nói trả lời câu hỏi "ai nói lúc nào", chứ không phải "ngôn ngữ nào được nói". Tính năng phân tách của Deepgram gán số người nói cho từng từ, và ClearScribe chuyển các số này thành nhãn được đánh số như Người nói 1 và Người nói 2. Deepgram mô tả tính năng phân tách của mình là không phụ thuộc ngôn ngữ, nên về nguyên tắc, một người đổi ngôn ngữ vẫn giữ nguyên nhãn.

Trên thực tế, lỗi phân tách tăng lên khi có tiếng nói chồng lấn, những câu xen ngang rất ngắn, giọng nói giống nhau và micrô đặt xa. Hãy lên kế hoạch kiểm tra nhãn người nói và đổi tên sau cuộc họp.

Khi nào độ chính xác giảm

Hãy lường trước kết quả kém hơn khi:

• Mọi người đổi ngôn ngữ nhiều lần trong một câu ngắn.
• Tên riêng, thuật ngữ sản phẩm và từ viết tắt bị trộn vào ngữ pháp của một ngôn ngữ khác.
• Một ngôn ngữ hoặc phương ngữ nằm ngoài danh sách được nhà cung cấp hỗ trợ cho chế độ đã chọn.
• Nhiều người nói cùng lúc, hoặc phòng có tiếng vang và tạp âm nền.
• Một bản ghi được xử lý bằng cơ chế nhận diện một ngôn ngữ trong khi phần lớn nội dung dùng ngôn ngữ thứ hai.
• Các phương ngữ vùng miền đậm đặc, chẳng hạn các biến thể khẩu ngữ của tiếng Ả Rập, khác với dữ liệu huấn luyện.

Một bản chép lời có thể trông trôi chảy nhưng vẫn sai. Mô hình giọng nói đôi khi biến một từ nước ngoài thành một từ nghe tương tự trong ngôn ngữ chính.

Quy trình thực tế cho cuộc họp đa ngôn ngữ

1. Xác định ngôn ngữ chính. Nếu một ngôn ngữ chiếm ưu thế, hãy lên kế hoạch xoay quanh ngôn ngữ đó và dùng thiết lập một ngôn ngữ khi có sẵn.
2. Dùng chế độ đa ngôn ngữ có chủ đích. Với các phiên trực tiếp thực sự pha trộn các ngôn ngữ được hỗ trợ, hãy chọn tùy chọn Đa ngôn ngữ trong Phụ đề trực tiếp.
3. Cải thiện âm thanh. Dùng micrô tốt, hạn chế nói chuyện riêng và đề nghị người tham gia không nói chen nhau.
4. Giới thiệu người nói. Một vòng xưng tên nhanh lúc đầu giúp việc kiểm tra người nói dễ hơn.
5. Rà soát trước khi chia sẻ. Kiểm tra các đoạn có đổi ngôn ngữ, tên riêng và con số, sau đó đổi tên người nói và sửa các đoạn.
6. Dịch sau khi rà soát. Dịch một bản chép lời đã sửa cho kết quả tốt hơn so với dịch nguyên các lỗi.

Cách kiểm thử trước khi tin dùng

Hãy làm một bài kiểm thử nhỏ, trung thực với chính các cuộc họp của bạn thay vì tin vào một bản demo:

1. Ghi lại mười đến mười lăm phút của một cuộc họp thực tế với những người tham gia, micrô và cách pha trộn ngôn ngữ quen thuộc.
2. Viết cẩn thận một bản chép lời tham chiếu cho hai hoặc ba phút có nhiều lần đổi ngôn ngữ.
3. So sánh bản chép lời của AI với bản tham chiếu. Đếm số từ bị thiếu, từ sai và các đoạn đổi ngôn ngữ bị ghi sai ngôn ngữ.
4. Kiểm tra nhãn người nói tách biệt với phần chữ.
5. Lặp lại bài kiểm thử với thiết lập một ngôn ngữ và, khi phù hợp, với tùy chọn Đa ngôn ngữ của Phụ đề trực tiếp.
6. Kiểm thử lại mỗi khi thiết bị âm thanh hoặc cách pha trộn ngôn ngữ thay đổi.

Nếu lỗi tập trung ở tên riêng và thuật ngữ, công sức rà soát sẽ ít. Nếu cả đoạn bằng ngôn ngữ thứ hai bị mất, cấu hình đó không phù hợp với cuộc họp.

Khả năng của nhà cung cấp và tính năng của ClearScribe

Kết luận

AI có thể chép lời các cuộc họp đa ngôn ngữ, và các mô hình đa ngôn ngữ đang tiến bộ nhanh chóng. Câu hỏi then chốt là sản phẩm chỉ nhận diện một ngôn ngữ chủ đạo hay thực sự theo dõi các lần chuyển đổi. Hiện nay, ClearScribe theo dõi các lần chuyển đổi trong tùy chọn Đa ngôn ngữ của Phụ đề trực tiếp đối với các ngôn ngữ được liệt kê, còn cuộc họp đã ghi dùng cơ chế nhận diện ngôn ngữ chủ đạo cùng phân tách người nói. Hãy kiểm thử với âm thanh của chính bạn, rà soát bản chép lời và chọn chế độ phù hợp với cách nhóm của bạn thực sự trò chuyện.

Nguồn tham khảo

• Tài liệu Deepgram: Multilingual Code Switching
• Tài liệu Deepgram: Language Detection
• Tài liệu Deepgram: Diarization
• Deepgram: What is speaker diarization?
• Agro, M. T. và cộng sự: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741